2012 Fiscal Year Research-status Report
マルチモーダルインタラクションに向けた音声画像融合計測インタフェースの応用開発
| Project/Area Number |
24560523
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Research Institution | Kumamoto University |
|---|
Principal Investigator |
緒方 公一 熊本大学, 自然科学研究科, 准教授 (10264277)
|
|---|
| Project Period (FY) |
2012-04-01 – 2015-03-31
|
| Keywords | 信号処理 / 音声合成 |
|---|
| Research Abstract |
本研究は，音声および画像の融合による合成・計測インタフェース開発を目的として，申請者が得意としこれまで行ってきた生成過程に基づく音声合成技術と，3 次元計測データ解析技術，視線検出インタフェースよるデータ解析技術等をさらに発展進化させることで，制御，相互補完技術や，補助システムなどの，マルチモーダル・インタフェースの開発を目指するものである。調音に基づく音声合成の実用化など，個々の要素技術も進化させながら，トータルシステムとしてのインタフェース応用展開を目指している。
マウスのワンクリックで声道音響管の生成が可能なマッピングンタフェース開発においては，本来音声生成に関与しない指鼻試験における指先の動きを入力信号として母音を生成するコンバータとしての可能性の研究をさらに進めた。指先の周期的な運動をインタフェース上に投影し，そのパターンにより音韻を変える方法，入力信号を音声のピッチパターンに対応させる方法などを検討し，結果としての合成音声信号から変換元の信号の様態を判別できることを明らかにした。データグローブを用いて声道音響管を生成し母音を合成する方式について，効果的な制御方法を検討し，３本の指で５母音を生成できることを明らかにした。また，視線検出インタフェースの開発研究では，システム利用時の被験者の頭部位置移動に対するロバスト性の向上のための方法について検討し，直接的に移動量を検出しない方法を実現した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
マッピングインタフェース開発，データグローブによる母音合成，視線検出インタフェースのロバスト化など，それぞれの開発研究が進行し，それぞれの研究経過は，国際学会論文や国内講演発表として報告されている。それぞれのテーマで進展が見られ，その成果に基づいた応用展開，融合展開のテーマも新たに創出される状況となっており，本研究課題はおおむね順調に推移しているといえる。
|
| Strategy for Future Research Activity |
○マッピングインタフェース上の軌跡情報活用のためのシステム改変，
○視線を介した音声合成システム開発,
○融合システムによる環境情報推定装置の開発と評価，
を主項目として実施する予定である。
マッピングインタフェース上の軌跡情報活用のためのシステム改変では，音声から声道音響管の形状を逆推定する手法について検討し，軌跡情報の特性を踏まえた応用展開を目指す。視線を介した音声合成システム開発の実施にあたっては，ロバスト性に関する研究結果に基づいて視線検出システムのデザインを改良する。このために，視線検出システムと音声合成システムとの親和性の高い接続のためインタフェース部を作成する。また，視線による物体の運動制御のような応用展開を視野に研究を進める。
|
| Expenditure Plans for the Next FY Research Funding |
該当なし
|
