2012 Fiscal Year Research-status Report
高度感性情報の抽出・提示を実現する視聴覚音声コミュニケーションシステムの構築
| Project/Area Number |
23500252
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
坂本 修一 東北大学, 電気通信研究所, 准教授 (60332524)
|
|---|
| Keywords | 感性情報学 / 情報システム / 音声認知 |
|---|
| Research Abstract |
本研究の目的は，視聴覚音声通信において，音韻情報だけでなく感性情報をも通信することを念頭に置き，音韻・感性情報のの伝送に必要となる物理パラメータの抽出，定量化を進め，その寄与に基づいて各パラメータを最適設定することで，音韻情報に加え，話者
の感性情報までもより高精度，高品位に伝えることのできる高感性コミュニケーションシステムの構築を行うことである。
平成24年度は，これまで行ってきた検討に基づき，実際に発話訓練経験のある話者を用いた音声収録を行った。収録時には，本研究で扱う映像情報の中でも最も重要な位置を占めるであろう唇の動きを，収録後に精度高く操作することが可能となるように，唇の形状が際立つような光源の位置・個数を検討し，かつ，様々な動きを含むような音韻を選定して発話を行わせた。その際には，発声前後の口形，まばたき，首の動き等，これまでの研究で厳密に統制すべきであることが明らかとなったパラメータも考慮して収録を進めた。最終的に得られた画像は，発声された音素ごとにラベリングを行ったうえで，口形情報の抽出を行うべく，輝度情報や色情報を用いた各種画像処理手法の適用性を予備的に検討した。その結果，パラメータの最適化などある程度の人為的な処理は必要であるものの，画像処理により口形情報の抽出の目途が立っている。
一方で平成24年度は，話者映像から得られる感性情報が，音韻情報の取得にどのような影響を及ぼすかについて，本研究で得られた成果を論文として発表した。McGurk効果を指標として，話者映像と音韻の主観的な適合度がMcGurk効果の生起率に影響を及ぼすことを示すものであり，話者映像の感性情報を適切に伝える本システムの考え方が，音韻情報の取得にも効果を及ぼすことを示す重要な知見であると考えている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究実績の概要でも示した通り，平成24年度は当初の目的である音声収録を予定通り終了することができたほか，これまでの知見をまとめた成果を論文として対外発表することができた。最終年度である平成25年度は，平成24年度に様々なパラメータ，音韻を統制して収録した音声刺激を用いた実験を行えばよいことになる。
以上のことを考えると，研究は当初予定通り順調に進展しているといえる。
|
| Strategy for Future Research Activity |
基本的な研究推進方策は研究開始当初に決定した計画に沿ったものである。最終年度である平成25年度は，平成24年度に収録した刺激を用いた主観評価実験を行って，音韻・感性情報取得に重要な手掛かりとなる映像情報，および，音声情報を明らかにするととも，その抽出方法を確定して，システムへの構築を進めていく。
|
| Expenditure Plans for the Next FY Research Funding |
おもに主観評価実験の実験参加者謝金，実験保護者謝金として使用するほか，映像刺激保存用ハードディスク，音声刺激提示用ヘッドホンなど，実験で必要となる消耗品を購入するために使用する。また，最終年度ということから，研究成果を様々な場面で公表すべく，成果発表を行うための旅費としても使用していく。
|
