2011 Fiscal Year Annual Research Report
口唇動作を用いた多言語間の非発声ヒューマンインタフェースの研究
| Project/Area Number |
22500112
|
|---|
| Research Institution | Tokai University |
|---|
Principal Investigator |
山田 光穗 東海大学, 情報通信学部, 教授 (60366086)
|
|---|
| Keywords | 口唇検出 / 口唇動作履歴 / パワースペクトル / 日本語母音認識 / 英語母音認識 / ヒューマンインタフェース / 音声認識 / 発話訓練 |
|---|
| Research Abstract |
本研究の目的は口唇動作を用いた非発声によるヒューマンインタフェースを、複数の言語間でシームレスに実現し、国際化、ボーダレス化の著しい各種装置のユーザーインタフェースの向上に貢献しようとするものである。本年度は、前年度に開発した口唇特徴点抽出・母音検出装置の機能強化と日本語・英語識別アルゴリズムの開発がテーマである。
まず、口唇特徴点抽出・母音検出装置について研究実績を述べる。照明条件や話者によらず安定して口唇部を検出できるアルゴリズムの検討を行い、顔画像から口唇部を抽出し、口唇動作の動作履歴、口唇動作履歴パワースペクトル、パワースペクトル間の相関係数演算を自動的に行うことができる装置を開発した。
次に単語認識アルゴリズムの研究成果について述べる。大手私鉄線の駅名を題材として、駅名認識への適用可能性を検討した。まず、駅名を語数、共通の名称を含む駅名に分類し、男女含め複数の被験者に発話させ、その口唇動作を取得した。その結果を元に、発話された駅名間の相関係数を計算し、誤認識率を分析した。偽陰性率は25～45%、偽陽性率は10～20%であった。誤認識率の要因を詳細に分析して改善することにより、駅名認識装置として実用化が可能と考えられ、今後さらに研究を進めていく予定である。英語については、発話者の出身母国に注目して分析を行い、同じ英語を母国語としていても、大きな違いがあることがわかった。イギリス英母音、アメリカ英母音を中心に、出身母国語別にその特徴を整理していく必要があると考えている。この研究と合わせて、日本語と英語の混在下での認識可能性についても分析を行い、単語数を限定すれば、どちらの言語を発話しても認識が可能であることを示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
予定通り口唇特徴点抽出・母音検出装置の開発が進み、顔画像を撮影し、その前で発話させるだけで、口唇動作履歴、同動作履歴パワースペクトル、相関英数の演算がリアルタイムで行えるようになった。私鉄駅名を例として、単語の誤認識率について検討を行い、アルゴリズムの適正化により実用化できる可能性を示すことができた。日本語・英語混在下の認識可能性についても研究を着手し、良好な結果を得ることができた。以上の理由からおおむね順調と判断した。
|
| Strategy for Future Research Activity |
最終年度であり、これまでの研究成果をまとめるとともに、口唇特徴点抽出・母音検出装置の安定性と精度の向上に努め、切符券売機・携帯電話の操作、病院でのコミュニケーションなど、多言語間の相互インタフェースを可能とする口唇動作処理装置を開発し、有効性を検証するとともに、本研究提案終了後の課題について明らかにする。
|
