音声および顔情報の融合解析に基づく対話型人物認識システムに関する研究

1994 Fiscal Year Annual Research Report

• Project/Area Number: 06780358
• Research Institution: Osaka Electro-Communication University
• Principal Investigator: 松村 雅史 大阪電気通信大学, 工学部, 助教授 (80209618)
• Keywords: 視聴覚融合 / 音源定位 / 適応フィルタ / カラー顔画像 / HSI変換 / 声道形状 / 鼻腔形状 / 口唇

Research Abstract

本研究では、音声の個人的特徴と発話時の顔の特徴を高精度で抽出し、総合的あるいは選択的に活用し、端末を操作する人物を認識するシステムの開発を研究目的とする。具体的には、複数の視覚センサと音響センサを設置した視聴覚融合センシングシステムの開発,音声生成過程の解析に基づく個人性情報の抽出を研究目的とする。研究成果は以下の通りである。
1.視聴覚融合センシングシステムの開発:端末に複数のビデオカメラとマイクロホンを設置した視聴覚融合センシングシステムを開発する。まず、4本のマイクロホンを用いて音源(口唇)位置の推定を行う手法を開発した。本手法はマイクロホンと音源との距離の差に伴う信号の位相差をマイクロホン信号の相互相関関数より推定し、音源位置を同定する。端末から50cm離れた音源位置を誤差2.4cm以内で推定することに成功した。次に音源位置が既知である場合、周囲雑音を含むマイクロホン信号から音源信号を抽出する適応フィルタを開発し、周囲雑音中より話者の発生音抽出のS/Nを向上させた。
2.カラー顔画像による口唇位置の推定:カラー顔画像より口唇の位置を推定する手法を提案した。本手法では口唇が肌の色より赤みがかっている点に着目し、カラー顔画像のHSI変換により口唇部の位置を推定する。被験者6名の顔画像を用いて口唇位置推定実験を行った結果、100%の識別結果が得られた。
3.音声生成過程の解析に基づく個人性情報の抽出:磁気共鳴映像法(MRI)により歯冠部を含む声道形状の精密測定に初めて成功し、摩擦子音声時の声道形状データを得ることができた。また、子音の明瞭度を決定する舌-口蓋接触面の垂直応力の計測に成功した。さらに声道及び鼻腔の音響特性を推定し、実音声の分析結果と一致すること、このような音声生成過程の解析より得られた特徴量が、個人識別に有効なパラメータであることを示した。

Research Products

• [Publications] 松村雅史: "カセンサー体型人工口蓋床による舌-口蓋接触面の垂直応力分布の計測" 電気学会論文誌(C). 114-C. 1073-1077 (1994)
• [Publications] 松村雅史: "MRIによる歯冠部を含む声道と鼻腔の3次元形状の計測" 電気学会論文誌(C). 114-C. 1067-1072 (1994)
• [Publications] 吉田正樹: "手の運動機能を取り入れたディジタル制御方式にる筋電義手の開発" バイオメカニズム. 12. 303-311 (1994)