2016 Fiscal Year Research-status Report
音声と映像との相互作用を利用した発話アニメーションの印象制御に関する研究
| Project/Area Number |
15K21024
|
|---|
| Research Institution | Gunma National College of Technology |
|---|
Principal Investigator |
川本 真一 群馬工業高等専門学校, 電子情報工学科, 講師 (70418507)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | リップシンク |
|---|
| Outline of Annual Research Achievements |
音声を聞き取る際，発話映像の付加により，発話内容の理解を助けることが知られており，コミュニケーションにおいて音声と映像の相互作用にも情報が含まれると考えられる．本研究では，発話アニメーションにおける映像と音声がそれぞれ持つ非言語情報の相互作用について実験的に検証することにより，映像と音声との非言語情報の整合性をとる方策を検討することを目指す．
今年度は，既存音声データベースから抽出した予備検討のための音声データセットへの主観評定値の付与を進めるとともに，発話対象となる顔の情報については，実際の発話映像の代替として，似顔絵で置き換えることを検討を試みた．これは，声の聴取印象に対する似顔絵を作成し，その似顔絵に対する主観評定値を付与することで，より抽象的な顔素材の整備を進めるためである．似顔絵を何も制約条件のない状態からフリーハンドで描くことは，絵の経験によって大きく差異が表れることが予想される．ここで対象としているのは，「絵の技能の差異」ではなく，「顔から得られる印象」であるため，あらかじめ顔を構成するパーツを限定し，パーツを選択・配置し，大きさやバランスなどを調整することで簡易に顔を構成する「福笑い」方式によるデータ収集を検討することとした．この方式であっても，同一の音声に対して聴取者の主観的な印象によって作成される似顔絵には差異が見られることを確認した．また，顔と声との関連を検討するために表現語による印象の数値化についても検討を進めた．
今後は，それぞれの顔や声の素材単体の主観評定値と，組み合わせたときの主観評定値の差異について，検討を進める予定である．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
音声素材加工のバリエーションや顔素材のバリエーションの増加については，当初想定したものより，より広範に検討がすすめられている．しかし，音声素材に対する主観年齢付与の実験回数がまだ十分とはいえない点，および顔素材の整備と対応する主観年齢付与が十分に進められていない点を勘案すると，基礎データの実験については，もう少し時間をかける必要がある．
|
| Strategy for Future Research Activity |
音声素材や顔素材に対する主観年齢付与については，継続して検討を進める．素材の準備および評価にあたっては，既存のデータベースやソフトウェアの活用や効率化のためのハードウェア・ソフトウェアの採用なども含め予算の範囲内で検討する．それぞれの主観年齢について大きなばらつきが見られない場合については，顔あるいは声のモーフィングによって，中間的な刺激を作成し，それらの主観年齢について検討することも視野にいれて，今後の研究を進める．
|
| Causes of Carryover |
現時点では検討段階の実験が多く，まとまった成果として学会発表できる段階に至っていないものが多いため，学会参加および発表のための旅費使用などが少ないことが主要因と考える．
|
| Expenditure Plan for Carryover Budget |
予備検討が完了次第，実験を加速するための予算使用，および参加可能な学会での情報収集も含め，学会参加や発表の機会を増やしていく予定である．
|
