音声とカラー顔画像の融合処理に基づく対話型人物認識システムに関する研究

1996 Fiscal Year Annual Research Report

• Project/Area Number: 08680443
• Research Category: Grant-in-Aid for Scientific Research (C)
• Research Institution: Osaka Electro-Communication University
• Principal Investigator: 松村 雅史 大阪電気通信大学, 情報工学部, 助教授 (80209618)
• Keywords: 人物認識 / カラー顔画像 / マイクロホンアレイ / 音源定位 / 口唇形状 / 調音結合 / ホルマント周波数 / 音声生成過程

Research Abstract

本研究では、音声の個人的特徴と発話時の顔の特徴を高精度で抽出し、総合的あるいは選択的に活用し、端末を操作する人物を認識するシステムの開発を研究目的とする。具体的には、カラーCCDカメラとマイクロホンアレイを設置した視聴覚融合センシングシステムの開発,音声生成過程の解析に基づく個人性情報の抽出を研究目的とする。本年度の研究成果は以下の通りである。
1.視聴覚融合センシングシステムの開発 端末にカラーCCDカメラとマイクロホンアレイを設置した視聴覚融合センシングシステムを開発する。まず、4本のマイクロホンを用いて音源(口唇)位置の推定を行う手法を開発した。本手法は4本のマイクロホンと音源との距離の差に伴う信号の位相差を相互相関法により推定し、音源位置を同定する。実音声を用いた音源定位実験を行い、端末から50cm離れた音源位置を誤差2.3cm以内で推定することに成功した。
2.発話時の口唇形状の個人差について 連続母音音声を発声時の口唇形状をカラーCCDカメラにより計測し、同時計測した音声のホルマント周波数の時間変化より各音韻発声時点での口唇形状を推定した。成人男子7名、6連続母音を検査語として、発話時の顔画像と音声のデータを収集した。その結果、口唇形状の縦、横の長さを特徴パラメータとした場合、連続的発話により生ずる調音結合様式には個人差があり、2ヶ月間の特徴パラメータの変動が小さいため、話者認識の特徴量として有用であることが示された。
3.音声生成過程の解析に基づく個人性情報の抽出:磁気共鳴映像法(MRI)により歯冠部を含む声道形状の精密測定に成功し、摩擦子音発声時の声道形状データを得ることができた。また、音声言語の明瞭度を決定する舌-口蓋接触応力の計測、鼻咽喉閉鎖強度の計測に成功した。このような音声生成過程の解析に基づく音声分析により個人識別に有効な特徴量が得られることを示した。

Research Products

• [Publications] Takuya Niikawa: "Accurate measurement of three dimensional shapes of uocal tract and dental crown using magnetic resonance imaging" The Journal of the Acoustical Society of America. 100,No.4 Pt2. 2658-2658 (1996)
• [Publications] Masafumi Matsumura: "Measurement of palatolingnal contact stress and pattern doning consorant production using a force-sensor-mounted palatal plate" The Journal of the Acoustical Society of America. 100,No.4 Pt2. 2660-2660 (1996)