眠球と唇の動きを利用したヒュ-マンインタフェ-スの研究

1991 Fiscal Year Annual Research Report

• Project/Area Number: 03452161
• Research Institution: Kanazawa Institute of Technology
• Principal Investigator: 垣田 有紀 金沢工業大学, 工学部, 教授 (00098823)
• Keywords: ヒュ-マンインタフェ-ス / コミュニケ-ション / 眠の動き / 唇の動き / 画像処理 / 顔の表情 / 言語 / 音声

Research Abstract

1.はじめに:本研究では人間のコミュニケ-ションにおける情報処理を多元的に解析して、顔の表情、とくに眠球の運動からは情報のポインタ(指示器)として、また唇の運動からはことばの理解のための補助手段として利用しうるかを調べ、コンピュ-タ-のためのヒュ-マンインタフェ-スとしての可能性を探る。
2.装置:設備備品として高性能の画像情報大量蓄積高速処理ボ-ドが入手できた。速度のみでなく、処理効率が飛躍的に向上した。
3.唇の動きの特微抽出:日本語のすべての子音(14子音)についてlaCal(C:子音)の環境で発話し、通常のビデオ画像として記録した。つぎに、上下の唇と、歯の先端を画像の視察により抽出し、3つのパラメ-タ(唇の開口部の横幅と上下幅、および上下前歯の開き幅)の時間変化を計測した。パラメ-タのうち、「上下前歯の開き幅」は私たちのオリジナルである。さらに上記の3つのパラメ-タの時間変化のパタ-ンを分類して、子音の特徴を識別する方法を見いだした。
4.眠の動きの特徴抽出:注視の対象を5×5のマトリクス状にし、注視する際の眠の画像を通常のビデオ画像として撮影した。つぎに眠球の方向を半自動抽出した。(虹彩周囲のデ-タ点を手で計測し、その後虹彩中心を計算で求めた。)頭部を固定した例では注視位置の区別がうまくできた。頭部を自由にした例では、そのままでは注視位置の再現が困難だったが、目頭と目尻の位置を参照した補正を施すことによって、かなり良好に再現できた。一方、眠球運動をシミュレ-トするコンピュ-タモデルを開発中である。
5.まとめ:当初の計画からすこし遅れているが、大筋では良好に進行している。遅れの最大の理由は、設備備品の入手が遅れたことによる。ただし、入手後は順調に進行している。

Research Products

• [Publications] 津守 正樹,垣田 有紀: "口唇運動のビデオ画像にもとづくlaCal環境下での子音の分類" 日本音響学会講演論文集(平成4年3月). 261-262 (1992)
• [Publications] 栗田 知好,本多 清志,垣田 有紀: "唇音の生成に関する筋電図学的研究ー閉鎖・円唇化と調音結合ー" 日本音響学会講演論文集(平成4年3月). 259-260 (1992)
• [Publications] 倉部 勇一,垣田 有紀: "通常ビデオ画像からの注視方向の推定ーコミュニケ-ションの補助手段への応用ー" 医用電子と生体工学特別号(第31回日本エム・イ-学会大会). 30. (1992)