1998 Fiscal Year Annual Research Report
音声とカラー顔画像の融合処理に基づく対話型人物認識システムに関する研究
| Project/Area Number |
08680443
|
|---|
| Research Institution | Osaka Electro-Communication University |
|---|
Principal Investigator |
松村 雅史 大阪電気通信大学, 情報工学部, 助教授 (80209618)
|
|---|
| Keywords | マイクロホンアレイ / 音声強調 / 話者位置の推定 / 音源定位 / 口唇領域の抽出 / 動画像処理 / HSV色空間 / 肌のカラーモデル |
|---|
| Research Abstract |
本研究では,端末を操作する人物を認識するシステムの開発を目的としており,発話時のカラー顔画像の特徴と音声の個人的特徴を高精度で抽出する方法を提案した。具体的には,カラーCCDカメラと4本のマイクロホンからなるマイクロホンアレイを用いた視聴覚融合センシングシステムの開発と音声および顔画像解析に基づく個人的特徴の抽出に関する研究を行なった。本年度の研究成果は以下の通りである。
1. マイクロホンアレイによる話者位置の推定と音声強調:マイクロホンアレイを用いて,周囲雑音を低減させ,特定話者の音声強調と口唇(音源)の位置推定を行なった。本法は,位置情報に基づく相関法により雑音を低減し,さらに,整合フィルタにより特定話者に対して音声を強調させる。周囲雑音が存在する環境で特定話者の実音声強調実験を行い、事前登録した話者の音声に白色雑音を付加した場合,ホルマント周波数が誤差8%以内で推定できた。また,マイクロホンアレイ信号間の遅延時間差を用いた話者位置推定では,推定誤差2.8cmであった。
2. 口唇領域の抽出:成人男子7名,6連続母音発話時の顔画像と音声のデータを収集した。HSVの色空間において肌の色分布モデルを考案し,多重解像度解析によりカラー画像全体から顔領域を抽出した。次に,顔領域内で口唇とその近辺の肌色を識別する色識別モデルを用いて,口唇領域の抽出を行なった。端末を操作する人物のカラー画像を用いて口唇抽出実験を行い,有効性を確かめた。
3. 口唇形状の動的特徴を用いた単語認識:口唇領域の動画像のフレーム間差分演算により動的特徴を抽出し,口唇部の変動パターンより単語を認識する手法を考案した。都道府県名を検査語とした認識実験を行ない,認識率97%を得た。また,認識が話者に大きく依存する単語が存在し,個人の特徴が最もよく現れる単語は,話者により異なることが明らかになった。
|
-
[Publications] 新川拓也: "磁気共鳴影像法を用いた摩擦音発声時の三次元声道形状の計測" 電気学会論文誌. 118巻718号. 1060-1065 (1998)
-
[Publications] Masafumi Matsumura: "Cantilever-type force-sensor-mounted platal plate for measuring palatolingual contact stress and pattern during speech phonation." Internation Conference on Spoken Language Processing. Tu4C4. (1998)
-
[Publications] Takuya Niikawa: "FEM analysis of aspirated air flow in three-dimensional vocal tract during fricative consonant phonation." International Conference on Spoken Language Processing.Fr1R15. (1998)
