2014 Fiscal Year Annual Research Report
視聴覚話者情報がもつ音韻・感性情報の分析とクロスモーダル推定・合成手法の模索
| Project/Area Number |
24650100
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
鈴木 陽一 東北大学, 電気通信研究所, 教授 (20143034)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
川瀬 哲明 東北大学, 医工学研究科, 教授 (50169728)
坂本 修一 東北大学, 電気通信研究所, 准教授 (60332524)
|
|---|
| Project Period (FY) |
2012-04-01 – 2015-03-31
|
| Keywords | 視聴覚音声知覚 / マルチモーダルインタフェース / 感性情報処理 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，高品位ではない環境下でも高次感性情報の通信が可能な視聴覚音声コミュニケーションシステムの実現にある。システム実現に向け，視聴覚音声情報について，音声伝達と高次感性情報の両面から，視覚と聴覚情報それぞれの特徴量が与える影響を要素還元的に定量評価し，得られた知見に基づいて，視覚情報と聴覚情報の操作により元情報の持つ感性情報をより忠実に，さらには，より強調して伝達することが可能な視聴覚音声コンテンツ創成技術を創出する。
平成24，25年度を通して，音声知覚に寄与の大きい顔の部位の特定がほぼ終わり，口唇，それも，唇の内側の動きさえあれば，音声の聴き取りにおいては話者の顔画像全体を提示するのと同等の寄与が見込めることが明らかとなった。その一方で，口唇以外の情報，例えばほおの動きや頭部の動きも一定程度音声の聴き取りに寄与することも示された。
平成26年度は，これらの分析結果をまとめ，2件の国際学会での発表（うち一件は招待講演）を行った。今後の課題としては，口唇の内側の形状自体が重要なのか，それとも，開口面積や開口部の高さや横幅などの開口部の特定の情報が必要なのかといった詳細な分析を行っていく必要があると考えている。
以上の結果は，音韻情報を正しく伝達する際には，口唇内部の情報さえ忠実に再現，もしくは，その情報を知覚しやすい形に加工すれば，視聴覚音声情報の持つ音韻情報を強調して聴取者に聞きやすい形で伝達するという，本研究の目的が実現できる可能性が示唆されたといえる。
|
