眼球と唇の動きを利用したヒューマンインタフェースの研究

1993 Fiscal Year Annual Research Report

• Project/Area Number: 03452161
• Research Institution: Kanazawa Institute of Technology
• Principal Investigator: 垣田 有紀 金沢工業大学, 工学部, 教授 (00098823)
• Keywords: ヒューマンインタフェース / コミュニケーション / 眼の動き / 唇の動き / 画像処理 / 顔の表情 / 言語 / 音声

Research Abstract

本研究計画では人間のコミュニケーションにおける情報処理の実体を多元的に解析することを目的として、顔の表情からの情報要素を調べた.眼球の運動については、情報のポインタ(指示器)としての利用の可能性を調べ、唇の運動からは、ことばの理解のための補助手段として利用可能かどうかを調べた.眼球の動きをポインタとして利用する目的は、たとえば、脳梗塞や脊髄損傷などで、四肢の運動障害や発音障害が起った場合などに、眼球の動きでキーボードのような対象物を指示できるようにすることである.また、唇の動きは、主にいわゆる読唇の目的で利用するものだが、とくにさまざまな子音をどれくらい有効に識別できるかを目的とした.
本年は採集年度であり,ヒューマンインタフェースとしての応用の検討を主目的として,そのためのシステムの性能の強化をおこなった.また,成果のまとめを計画した.
◇ヒューマンインタフェースとしての応用の検討
A.眼球の運動
1.眼球の動画像情報から注視方向を求める方法を自動化する効率的な方式を開発した.
2.注視方向を求める方法を高速に処理する方式を開発した.
上記の処理をおこなうソフトウエアを開発した.
B.唇の運動
1.口唇破裂子音の生成過程をモデル化して,筋収縮の情報から口唇の形状・運動を自動生成する方式を開発した。
口唇形状・運動と,音声の聴覚的な特徴抽出との関連を実験的に調べ,音の情報を補うための口唇形状の特徴のこの成果は,「機械による読唇」の方式開発のために役に立つ.
◇成果の刊行
1.口唇の調音のモデル化と,聴覚的な特徴抽出に関した研究論文を3編学会誌に投稿し,2編はすでに出版された.
2.最終成果報告書はすぐにとりまとめることができない(別紙様式4参照)が,解決し次第まとめる予定である.

Research Products

• [Publications] Honda,Kurita,Kakita,and Maeda: "Physiology of the lips and modeling of lip gestures" Journal of Phonetics. (in press). (1994)
• [Publications] 栗田・本多・垣田: "口唇の調音動作の生成モデル" 日本音響学会誌. (印刷中). (1994)