|
(1)動画像系列から口唇領域の3次元形状を復元する手法の開発
モアレ干渉画像を利用し、これにより得られる1自由度不定の奥行き情報から、物体表面の反射モデルを仮定して絶対奥行き情報を抽出する手法を開発した。反射モデルとして、拡散反射のみでなく鏡面反射も考慮することで、バイアスの存在しない奥行き計算が可能となることをシミュレーションならびに実画像実験によって確認した。
(2)口唇領域の3次元形状に基づく視覚的音声認識手法の開発
口唇領域の3次元形状に基づく母音認識および単語認識手法を提案した。画像情報(2次元の口唇形状)を用いる従来の方法に対する有意性として、顔とカメラの相対的な向きに不変な認識が可能となること以外に、純粋に認識率の向上も可能となることを、実画像実験によって確認した。
(3)複数光源システムによる口唇画像生成手法の開発
上記(1)の手法を複数光源システムに拡張し、唇領域と肌領域の反射率を分離して計算することができ、結果として任意光源のもとで任意視点から見た発声時の口唇画像生成が可能であること示した。
|
