視聴覚話者情報がもつ音韻・感性情報の分析とクロスモーダル推定・合成手法の模索

2012 Fiscal Year Research-status Report

• Project/Area Number: 24650100
• Research Category: Grant-in-Aid for Challenging Exploratory Research
• Research Institution: Tohoku University
• Principal Investigator: 鈴木 陽一 東北大学, 電気通信研究所, 教授 (20143034)
• Co-Investigator(Kenkyū-buntansha): 川瀬 哲明 東北大学, 医工研究科, 教授 (50169728) ; 坂本 修一 東北大学, 電気通信研究所, 准教授 (60332524)
• Project Period (FY): 2012-04-01 – 2014-03-31
• Keywords: 視聴覚音声知覚 / マルチモーダルインタフェース / 感性情報処理

Research Abstract

本研究の目的は，高品位ではない環境下でも高次感性情報の通信が可能な視聴覚音声コミュニケーションシステム実現にある。システム実現に向け，視聴覚音声情報について，音声伝達と高次感性情報の両面から，視覚と聴覚情報それぞれの特徴量が与える影響を要素還元的に定量評価し，得られた知見に基づいて，視覚情報と聴覚情報の操作により元情報の持つ感性情報をより忠実に，更には，より強調して伝達することが可能な視聴覚音声コンテンツ創成技術を創出する。
平成24年度は，まず音韻情報に着目し，音韻情報に寄与する映像情報を要素還元的に定量評価すべく，使用する刺激の選定を行った。具体的には，口形情報の時間的な変化に注目し，母音から子音へ連続的に変化するすべての組み合わせが出現するような無意味三連音節を作成した。作成した刺激により，先行母音からのわたりの部分の寄与を，子音ごとに分析することが可能となる。この刺激は，画像処理に基づいて加工を行ったうえで，次年度の実験で使用する予定である。
一方で，頬やあごの動きといった唇以外の情報の音韻情報取得への寄与を調べるべく，提示される画像の範囲を口の部分を中心にパラメトリックに変化させた話者映像と音声とを組み合わせた刺激を作成し，提示される視覚刺激の大きさと音声了解度との関連を予備的に検討した。予備検討の結果，口形情報さえ表示されていれば，頬やあごの動きが提示されていなくても，音声は十分に聴き取ることができることが明らかとなった。この結果は，音韻情報取得に寄与する映像情報は唇の動きなどの口形情報に限られることを示しており，次年度に行う予定である抽出すべき特徴量の存在する範囲を特定することができた重要な知見であると考えている。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究の主要な目的である，音韻・感性情報の取得に寄与する視聴覚情報の特定において，音韻情報取得に寄与する映像情報の含まれる範囲が特定できたことは，当初の目的のように研究が進んでいることを示している。さらに，その際に使用した方法は，感性情報に寄与する映像情報の特定の際にも利用可能であり，次年度の研究を行う上での大きな手掛かりとなるであろう。
以上のことを考えると，研究は当初予定通り順調に進展していると思われる。

Strategy for Future Research Activity

平成24年度に取得した映像・音声刺激を用いて，感性・音韻情報取得に寄与する情報を明らかにしていく。具体的には，まず，収録した映像から画像処理により口形情報のみを抽出し，その映像が持つ情報を，パラメトリックに変化させることで，寄与する映像情報を特定していく。一方で，音声情報についても，ピッチ変化，周波数制限など，情報をパラメトリックに変化させ，音声情報の寄与というからも，要因の特定を進めていく。

Expenditure Plans for the Next FY Research Funding

主に了解度試験を始めとする知覚実験結果に基づいて，感性・音韻情報取得に寄与する情報を明らかにするため，実験参加者謝金への使用が大きくなる。一方で，次年度は最終年度であり，これまで得られた成果を学会など様々なコミュニティーで発表することとなるため，成果発表旅費として比較的多くの金額を使用する予定である。