2013 Fiscal Year Research-status Report
マルチモーダルインタラクションに向けた音声画像融合計測インタフェースの応用開発
| Project/Area Number |
24560523
|
|---|
| Research Institution | Kumamoto University |
|---|
Principal Investigator |
緒方 公一 熊本大学, 自然科学研究科, 准教授 (10264277)
|
|---|
| Keywords | 信号処理 / 音声合成 / インタフェース |
|---|
| Research Abstract |
本研究は，音声および画像の融合による合成・計測インタフェース開発を目的として，申請者が得意とし，これまで行ってきた生成過程に基づく音声合成技術と，3 次元計測データ解析技術，視線検出インタフェースによるデータ解析技術等をさらに発展進化させることで，制御，相互補完技術や，補助システムなどの，マルチモーダル・インタフェースの開発を目指するものである。調音に基づく音声合成の実用化など，個々の要素技術も進化させながら，トータルシステムとしてのインタフェース応用展開を目指している。
マウスのワンクリックで声道音響管の生成が可能なマッピングンタフェースの開発においては，インタフェース上の点に対応させて音響管が生成でき，そこから得られるホルマント周波数の振る舞いが，実音声について報告されている傾向と比較的類似していること，指鼻試験における指先の動きを入力信号として母音を生成するコンバータとしての可能性を有することなどの研究成果が電子情報通信学会論文誌に掲載された。マッピングンタフェースの更なる応用展開として，音声から逆にそれに対応する声道形状を推定する，いわゆる逆推定への適用についても検討を行い，推定手法や予備実験結果の有効性等を国際学会で発表した。音声生成に基づく音声合成手法が持つ融通性，すなわち，与えた声道形状に基づいて音声合成できる特徴を生かすために，年齢に応じた模擬的な声道形状の生成手法の検討も進めた。成長曲線に基づき模擬的な声道形状が作成でき，報告されているホルマント周波数に比較的に近い結果が得られることが分かった。その他，視線インタフェースと音声合成の融合等の応用展開，視線による運動体の制御実験等によりその可能性を見いだした。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
音声生成過程に基づく音声合成の融通性拡張，マッピングインタフェース開発，データグローブによる母音合成，視線検出インタフェースの応用開発など，本研究の要素となるそれぞれの開発研究が進行し，その成果は，論文，国際学会論文や国内講演発表として報告されている。視線システムと音声，あるいは小型運動体の制御等の融合テーマの研究も進行しており，本研究課題はおおむね順調に進展しているといえる。
|
| Strategy for Future Research Activity |
○マッピングインタフェースによる音声生成と逆推定の高度化と応用展開，
○視線を介した制御・支援インタフェースの応用開発,
○融合システムによる環境情報表現および推定，
を主項目として実施する予定である。
マッピングインタフェース開発では，それを用いた母音合成と，音声からの逆推定が可能となっているが，完成度を高め，実験の効率化や応用展開へのスムーズな移行を実現する必要がある。そのための改良を継続して進める。視線を介した制御・支援インタフェースの応用開発では，利用シーンの想定やその支援手法のあり方について検討を進める予定である。
|
| Expenditure Plans for the Next FY Research Funding |
残額が531円と少額であり，研究が継続する次年度での使用が予算の有効利用の点で望ましいと考えたため。
残額が531円と少額であるので，次年度所要額と合算し有効利用する。
|
