2011 Fiscal Year Research-status Report

高度感性情報の抽出・提示を実現する視聴覚音声コミュニケーションシステムの構築

Research Project

Project/Area Number	23500252
Research Institution	Tohoku University
Principal Investigator	坂本修一東北大学, 電気通信研究所, 准教授 (60332524)
Project Period (FY)	2011-04-28 – 2014-03-31
Keywords	感性情報学 / 情報システム / 音声認知
Research Abstract	本研究の目的は，視聴覚音声通信において，音韻情報だけでなく感性情報をも通信することを念頭に置き，音韻・感性情報のの伝送に必要となる物理パラメータの抽出，定量化を進め，その寄与に基づいて各パラメータを最適設定することで，音韻情報に加え，話者の感性情報までもより高精度，高品位に伝えることのできる高感性コミュニケーションシステムの構築を行うことである。　本年度の当初予定では，研究期間を通して使用する刺激素材の収録を主要な予定としていた。しかし，刺激素材の収録に当たって，いくつかの予備的検討，および，情報収集を行ったところ，口の動き，大きさ，話速，ピッチ変化，絶対音圧といった，音韻情報に寄与の大きいと思われるパラメータ以外にも，目周辺や頬の動き，頭部運動など，感性情報に寄与するであろうパラメータの統制が収録時にも重要であることが明らかとなった。このような分析検討は，当初は刺激素材収録後に行う予定であったものを，収録前に事前に行ったこととなり，この知見にしたがって刺激素材を収録することにより，より効率的にパラメータの統制された刺激が収録でき，当初予定通り研究を加速することができるものと考えている。　一方で本年度は，音韻情報に寄与する口形情報についても予備的な検討を行った結果，口の動きの存在が音韻取得に効果的に寄与するものの，個々の口形情報の寄与を分析的に検討するためには，口形情報を極めて高い精度で抽出する必要があることが明らかとなった。この知見は，次年度以降に定量的な分析を行う際に注意しなくてはいけない点と考えている。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 当初の予定では，刺激収録を先行して行い，収録した刺激に対して，個々の刺激が持つ物理パラメータを網羅的に分析する予定であった。今年度は，刺激収録に先だって収録すべき刺激素材が具備すべき物理パラメータを事前に分析検討したものであり，当初予定とは逆の順序で研究が推移してはいるものの，この知見に基づいてパラメータを設定して刺激素材を収録することで，次年度以降に行う分析に必要なパラメータが適切に統制された刺激が収録されるであろう。　以上のことを考えると，おおむね順調に推移していると考えている。
Strategy for Future Research Activity	基本な研究推進方策は研究開始当初に決定した計画に沿ったものである。刺激素材収録と収録素材の分析の順序が変更にはなったものの，これらを通して得られる様々な物理パラメータが統制された刺激素材に対し，個々の物理パラメータと，音韻情報，および，感性情報との関連を定量的に分析し，音韻情報，感性情報の創出に適した物理パラメータの選定を行い，それらを最適に提示することが可能な高感性コミュニケーションシステムの構築を進めていく。
Expenditure Plans for the Next FY Research Funding	当初予定では，刺激収録に必要なHDカメラを購入し，実際に刺激収録を行う予定であった。しかし，本年度の予備検討，情報収集の結果から，今後刺激素材の物理パラメータを精度高く分析していくためには，収録時に発声する話者の発声方法（発声前後の口形，うなずき・かしげといった頭部運動の統制）を厳密に統制する必要があることが明らかとなった。そこで次年度は，実際に視聴覚音声刺激の収録を行い，各刺激の持つ物理パラメータ（口形，口の動き，話速，ピッチ変化，絶対音圧，頭部運動等）を抽出する。それにあわせ，当初予定のとおり，刺激の持つ感性情報の抽出，物理パラメータとの対応関係の検討を行う。　次年度使用額は，当初予定の刺激素材収録に必要な機材の購入，および，収録に協力してもらう実験参加者の謝金であり，上記に記載した通り，その収録作業を次年度に行うことから，当初の平成24年度請求額と合わせ，次年度使用額を使用する予定である。