画像情報を利用した高い雅音下での音声認識に関する研究

1997 Fiscal Year Annual Research Report

• Project/Area Number: 09878069
• Research Institution: Tottori University
• Principal Investigator: 小西 亮介 鳥取大学, 工学部, 教授 (00032269)
• Co-Investigator(Kenkyū-buntansha): 菅原 一孔 鳥取大学, 工学部, 助教授 (90149948)
• Keywords: 音声認識 / 高雅音 / 唇形状抽出 / 動的輪郭モデル / ニューラルネットワーク

Research Abstract

平成9年は高速に正確な唇形状を抽出するために新しい動的輪郭モデルを考案した.このモデルに基づくシステムを構築した結果,本計画で初年度に目標としていた唇形状の抽出を行うことはほぼ達成できた.つづいて実時間処理が可能な手法として開発したシステムを動画像へ適用するため,基礎的な実験を行った結果ほぼ満足する結果が得られた.
唇の形状抽出について当初は唇の外側の輪郭だけを使って認識ができるものと考えていたが,初年度に行った予備的実験の結果,外側だけでなく唇の内側の形状を利用することで認識率の向上が望めることが分かった.唇の内側の形状を抽出することは唇の部分の色の変化に伴う雑音が多く発生し,外側の形状を抽出するのに比べ困難であると思われるが,動的輪郭モデルの改良,2値化処理の改良などを行うことで解決を図ることを検討している.
音声についての認識方法としてHMM(Hidden Markov Model)に基づく方法を検討した.そして認識のために必要となる,実時間での音声の取り込み,ケプストラムの計算,クラスタリングおよびHMMによる認識を行うためのプログラムの開発を行った.初年度でこれらのプログラムの開発はほぼ完了し,今後は認識実験を行いながら各パラメータの設定について検討をして行くことが残されている.
第2年度には初年度得られた研究成果を元に,音声データと画像情報を組み合わせることにより正確な音声認識システムの構築を目指す.この作業は実際に雑音下での音声データを取り込み,実験を行いながらシステムの構築を行う必要がある.

Research Products

• [Publications] 菅原一孔: "振動項を持つ動的輪郭モデル" 電子情報通信学会論文誌. J80-DII・12. 3232-3235 (1997)
• [Publications] 新地俊幹: "動的輪郭モデルによる唇形状抽出とその母音認識への応用について" 電子情報通信学会第12回ディジタル信号処理シンポジウム講演論文集. 43-48 (1997)
• [Publications] 山本久範: "適応的原画像強調のためのパラメータの自動設定について" 電子情報通信学会第12回ディジタル信号処理シンポジウム講演論文集. 657-662 (1997)
• [Publications] Toshimi Shinchi: "Vowel Recognition Aceording to Lip Shapes by Using Neural Network" Prec.of 1998 IEEE International Joint Conference on Neural Networks.(未定). (1998)