2013 Fiscal Year Annual Research Report
高度感性情報の抽出・提示を実現する視聴覚音声コミュニケーションシステムの構築
| Project/Area Number |
23500252
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
坂本 修一 東北大学, 電気通信研究所, 准教授 (60332524)
|
|---|
| Keywords | 感性情報学 / 情報システム / 音声認知 / 視聴覚情報処理 |
|---|
| Research Abstract |
本研究の目的は，視聴覚音声通信において，音韻情報だけでなく感性情報をも通信することを念頭に置き，音韻・感性情報の伝送に必要となる物理パラメータの抽出，定量化を進め，その寄与に基づいて各パラメータを最適設定することで，音韻情報に加え，話者
の感性情報までもより高精度，高品位に伝えることのできる高感性コミュニケーションシステムの構築を行うことである。
平成25年度は，話者から発声される音声の音韻情報が聴取者に伝わる際に，話者映像のどの部分が寄与するのかについて，話者映像に含まれる話者の顔の個々のパーツを分割して提示し，それぞれのパーツごとに音韻情報取得に対する影響を分析した。具体的には，平成24年度に収録した視聴覚音声素材を元に，ディジタル信号処理技術を駆使して各部位を抽出し，音声と同期させて結合することで実験素材を作成し，実験参加者に音声を聴き取らせて反応を得た。実験の結果，話者映像の口唇，それも唇の内側の部分に大きい音韻情報が含まれることが明らかとなった。これは，音韻の伝達という観点からは，唇の内側さえ表示すれば充分に音韻情報が伝わるということを示唆している。また，我々は通常唇の厚さを考慮せずに音韻を聴き取っているという日常的な印象とも合致する。その一方で，口唇が含まれていない場合でも，発声のタイミングの情報が含まれる話者の頭部の動きなどにも音韻の聴取に寄与する情報が含まれることが明らかとなった。
以上の結果と，平成24年度に得られた話者映像と音声との印象の一致が音韻情報取得にさえも影響を及ぼすという結果を合わせて考えると，少なくとも話者の印象が正しく伝わる程度の映像で，口唇付近の情報は特に唇の内側が精度高く表示されるような映像処理を行った上で音声情報と合わせて伝送することで，話者の伝えたい情報を正しく伝える視聴覚音声コミュニケーションシステムが実現されるものと考えられる。
|
