2013 Fiscal Year Research-status Report
心情・体調変化を考慮した口唇の動き特徴によるコマンド識別法とインタフェースの開発
| Project/Area Number |
24500140
|
|---|
| Research Institution | Akita University |
|---|
Principal Investigator |
西田 眞 秋田大学, 工学(系)研究科(研究院), 教授 (70091816)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
景山 陽一 秋田大学, 工学(系)研究科(研究院), 教授 (40292362)
|
|---|
| Keywords | ヒューマンインターフェース / 口唇 / 心理変化 / 動き特徴 / 色彩情報 / 画像処理 |
|---|
| Research Abstract |
本研究は，発話に伴う時系列的な口唇の動きの特徴と形状特徴に着目し，口唇の動き特徴と発話内容（コマンド）の関連について解析を行った。さらに，発話コマンドの階層化，発話時の口唇が含む「あいまいさ」を考慮した発話内容識別法，並びにインタフェース設計に関する検討を行った。得られた成果を以下にまとめる。
1，インタフェース設計に関する検討において，発声の有無により口唇の動き特徴が変化する傾向を認めた。このため，発話に伴う口唇の縦幅，横幅，面積，アスペクト比，並びに発話時間に着目し，発声による違い，発話フレーム数の変動および経時変化について検討を加えた。7名を対象とした実験の結果，(1)発話フレーム数の増加率に着目した場合，有声発話よりも無声発話の方が長い被験者群と，そうでない被験者群に大別可能であること，(2)各特徴量と発話回数(発話慣れ)は負の相関を有する傾向があること，(3)有声発話は経時変化に伴い，特徴量が大きく減少する傾向があることなどを明らかにした。
2，特定のコマンド(撥音「ん」を含むコマンドなど)では識別精度が低下するため，口唇の動き特徴における極値(山および谷)を特徴点としたコマンド識別法を開発した。すなわち，開発手法は，(1)口唇の動きの推移に関してノイズの除去を目的とした平滑化処理，(2)発話開始時，発話終了時，並びに特徴点出現時における特徴量およびその出現数(特徴数)の算出処理，(3)三次元特徴空間の生成処理，(4)コマンドグループ毎のマッチング処理から構成される。なお，(2)の処理では，特徴量の一つとして相対フレーム位置に着目した検討（発話フレーム数の正規化）を行った。その結果，区間分割をして，各区間に出現する特徴点に重みづけを行うこと，並びに特徴点の位置補正を行い，相対フレーム位置を各特徴点の重要度判定の指標にすることは，コマンドの識別精度向上に寄与する可能性があることを明らかにした。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成25年度は，口唇の動き特徴と発話内容（コマンド）の関連について解析を行うとともに，発話コマンドの選定・階層化設計，発話時の口唇が含む「あいまいさ」を考慮した発話内容識別法，並びにインタフェース設計を行った。すなわち，（1）インタフェースの設計において課題となる「発声の有無や発話慣れにより口唇の動き特徴が変化すること」について検討を行い，発声の有無により識別処理に用いる教師データを分けることや，経時変化を考慮して教師データの更新タイミングに活用することなどのシステム構築に有用な知見が得られた。また，関連した技術開発も行うことができた。（2）特定のコマンド(撥音「ん」を含むコマンドなど)では識別精度が低下するため，口唇の動き特徴における極値(山および谷)を特徴点としたコマンド識別法を開発した。（3）口唇の動きや発話内容にロバストな特徴量の選定を行った。（4）処理の高速化および高精度化を目的とし，顔画像から口唇を抽出する際に用いるコントラスト改善処理を開発した。（5）コマンド識別インタフェースの設計を行った。
従って，交付申請時の「研究目的」に対する進捗として，「概ね順調に推移している」と判断している。また，研究内容は，国際シンポジウムにおける発表1件，学会発表5件として積極的に公表しており，その過程で得られた成果は速やかに以後の検討にフィードバックさせている。この点からも「概ね順調に推移している」と判断している。
|
| Strategy for Future Research Activity |
これまでの検討結果を踏まえ，平成26年度は以下のように本研究課題を推進する。
（1）有声・無声の条件下において，心情および体調変化を検出する処理を開発する。なお，口唇の動きには種々の「あいまいさ」が包含されているため，主にファジィ推論を用いた処理の開発を行う。また，開発した処理をコマンド識別インタフェースに組み込む。
（2）本研究では，個人認証をはじめに行い，引き続いて目的とするコマンドを入力するインタフェースの構築を目標としている。具体的には，「氏名」と「パスワード」を入力して発話者の特定を行ってから，入力されるコマンドの識別を行う。さらに，その内容の確認を「はい」，「いいえ」で行うことを想定している。これまでの検討の結果，発声の有無により識別処理に用いる教師データを分けることや，経時変化を考慮して教師データを適宜更新することが識別精度向上に寄与すると予想している。このため，実際のコマンド識別システムに上記内容を組み込む。
（3）撥音を含むコマンドを発話したときの口唇の動き特徴変化にばらつきが認められるため，その影響を低減させる処理および特徴量の検討を行う。
（4）発話に伴う口唇の動き特徴を活用した非接触型コマンド入力インタフェースを構築する。また，異なる条件（照明条件や背景情報の異なる条件など）で取得したデータを対象として検証実験を行う。さらに，検証結果を踏まえ，非接触型コマンド入力インタフェースの改良と最適化を図る。
|
Research Products
(7 results)
