動画像と音声の相補的統合による発語認識のための基礎研究

1999 Fiscal Year Annual Research Report

• Project/Area Number: 11680397
• Research Institution: Tokyo Metropolitan University
• Principal Investigator: 田川 憲男 東京都立大学, 大学院・工学研究科, 助教授 (00244418)
• Co-Investigator(Kenkyū-buntansha): 皆川 明洋 東京都立大学, 大学院・工学研究科, 助手 (00305418)
• Keywords: 発語認識 / 口形状 / 3次元形状 / モアレトポグラフィ

Research Abstract

今年度は、画像系列から口の3次元形状を復元する手法の開発、ならびに発語認識に利用する低次元特徴量の検討とその有効性の実験的評価を行なった。
まず前者については、モアレトポグラフィ技術によって得られる1自由度(奥行き方向の伸縮)不定の奥行き情報の不定パラメータ(絶対縞次数)を変化させながら、簡単な表面反射モデルを仮定することによってその形状に対するCG画像を作成し、実際に計測されている画像と合わせこむことによって上記不定パラメータを決定する手法を開発した。その際、当初購入を予定していた「3次元形状計測システム」では時間的に変化する形状を扱うことができないため、その購入を断念し、シミュレーションによって提案法の精度評価を行なうこととした。画像雑音が白色である場合は本手法は理論的には最尤推定を行なうことに相当しており、このシミュレーション評価によって、得られる推定量には実際に統計的偏りが存在しないことを確認した。
後者については、従来の2次元画像を用いた発語認識手法に対して3次元情報を用いることの有効性を確認するという意味で、そのような従来法で用いられていた2つの特徴量、「口の縦横の開き具合い」と「唇周辺の2次元的変位場」、を3次元に拡張し、「口の縦横の開き具合い唇の突き出し具合い」と「唇周辺の3次元的変位場」を特徴量とすることの有効性を評価した。発語認識手法としては、従来提案されている単語レベルでの固有空間に基づく手法を採用し、両特徴量について実画像に対する実験を行なったところ、両者において認識率の明らかな向上が確認された。なお、購入した「ディジタルビデオ」の使用により、これまで使用していた「8ミリビデオ」で採取・再生した画像に見られた雑音が大幅に低減され、実験の信頼性を高めることができた。

Research Products

• [Publications] 新倉謙太郎,皆川明洋,田川憲男,守屋正: "陰影情報を用いたモアレ縞の絶対縞次数決定法"電子情報通信学会技術研究報告. IE99-36. 81-88 (1999)
• [Publications] K.Nikura,A.Minagawa,N.Tagawa,T.Moriya: "Determination of the absolute number of Moire Fringes using shading in formation"Proceedings of Aduances in Pattern Recognition and Digital Techniques. 154-159 (1999)