2014 Fiscal Year Annual Research Report
マルチモーダルインタラクションに向けた音声画像融合計測インタフェースの応用開発
Project/Area Number |
24560523
|
Research Institution | Kumamoto University |
Principal Investigator |
緒方 公一 熊本大学, 自然科学研究科, 准教授 (10264277)
|
Project Period (FY) |
2012-04-01 – 2015-03-31
|
Keywords | 信号処理 / 音声合成 / インタフェース |
Outline of Annual Research Achievements |
本研究は,音声および画像の融合による合成・計測インタフェース開発を目的として,申請者が得意としこれまで行ってきた生成過程に基づく音声合成技術と,3次元計測データ解析技術,視線検出インタフェースよる画像処理および制御技術等をさらに発展進化させ,制御,相互補完技術や,補助システムなどの,マルチモーダル・インタフェースの開発を目的とするものである。 マウスのワンクリックで声道音響管の生成が可能で母音合成が可能なマッピングンタフェース開発においては,これを逆方向に利用する,音声からの声道形状の逆推定の試みについて,同一被験者の複数回の発話に対する逆推定結果の再現性,複数の被験者での推定結果の個人性などに着目して検討を進めた。音声信号がインタフェース上の点の軌跡として得られる特徴に基づき,音声を画像として捉える,複合的,融合的インタフェースの可能性が見いだされた。また,それらの軌跡は,マウスをどのように動かせば類似した音声が生成できるかを示す有益な経路情報としての意味を持ち,更なる応用展開の可能性が開けた。 視線検出インタフェースの開発研究では,システム利用時の調整の自動化やユーザ自身が適切な頭部の位置を把握できる機構の実現について検討を進め,その有効性を国際誌や国際学会で発表した。 視線インタフェースを応用した母音合成に関する研究では,ユーザのスキルに応じて補助機能を有効化し,スキルの不足分を補完する方法について検討を行い,インタフェースの利便性カスタマイズ性の向上に有効であることを確認した。
|