研究課題
本研究は，音声および画像の融合による合成・計測インタフェース開発を目的として，申請者が得意としこれまで行ってきた生成過程に基づく音声合成技術と，3次元計測データ解析技術，視線検出インタフェースよる画像処理および制御技術等をさらに発展進化させ，制御，相互補完技術や，補助システムなどの，マルチモーダル・インタフェースの開発を目的とするものである。マウスのワンクリックで声道音響管の生成が可能で母音合成が可能なマッピングンタフェース開発においては，これを逆方向に利用する，音声からの声道形状の逆推定の試みについて，同一被験者の複数回の発話に対する逆推定結果の再現性，複数の被験者での推定結果の個人性などに着目して検討を進めた。音声信号がインタフェース上の点の軌跡として得られる特徴に基づき，音声を画像として捉える，複合的，融合的インタフェースの可能性が見いだされた。また，それらの軌跡は，マウスをどのように動かせば類似した音声が生成できるかを示す有益な経路情報としての意味を持ち，更なる応用展開の可能性が開けた。視線検出インタフェースの開発研究では，システム利用時の調整の自動化やユーザ自身が適切な頭部の位置を把握できる機構の実現について検討を進め，その有効性を国際誌や国際学会で発表した。視線インタフェースを応用した母音合成に関する研究では，ユーザのスキルに応じて補助機能を有効化し，スキルの不足分を補完する方法について検討を行い，インタフェースの利便性カスタマイズ性の向上に有効であることを確認した。
すべて 2015 2014
すべて 雑誌論文 (4件) (うち査読あり 4件、 謝辞記載あり 4件) 学会発表 (4件)
Proceedings of the Kyushu-Youngnam Joint Conference on Acoustics 2015
ページ: 35-38
Optics & Laser Technology
巻: 66 ページ: 112-121
10.1016/j.optlastec.2014.09.001
Proceedings of the 11th International Conference on Signal Processing and Multimedia Applications (SIGMAP 2014)
ページ: 275-280
Proceedings of 2014 IEEE International Conference on Systems, Man, and Cybernetics (IEEE SMC 2014)
ページ: 3741-3746
10.1109/SMC.2014.6974509
