2013 Fiscal Year Research-status Report

マン―マシン間対話における双方向型マルチモーダル感情コミュニケーションのモデル化

Research Project

Project/Area Number	25871139
Research Category	Grant-in-Aid for Young Scientists (B)
Research Institution	Institute of Physical and Chemical Research
Principal Investigator	有本泰子独立行政法人理化学研究所, 脳科学総合研究センター, 客員研究員 (60586957)
Project Period (FY)	2013-04-01 – 2016-03-31
Keywords	マルチモーダル対話 / 対話音声コーパス / 同調 / 模倣 / 感情表出
Research Abstract	表出行動の模倣は，対話中に話者の感情表出が行われていることが前提となる，そのため，まずは親近性のある話者同士の対話とコンピュータシステムとの対話とで，感情表出の頻度がどの程度異なるかを調べた．そのために過去に収録し，コーパスとして公開した対話音声と複数の対話音声コーパスとを比較した．その結果，親近性のある話者同士の対話の方が，聞き手に知覚可能な感情表出が多く含まれることが明らかとなった．本内容は感情が自発的に表出されている対話音声コーパスに関する研究として日本音響学会にて発表を行った．さらに，マン－マシン間のマルチモーダル対話データ収集に向けたコンピュータ側の振舞いを決めるために，人間同士の対話における表情・音声・生理反応などの表出行動の模倣の程度について分析を行った．その結果，対話の課題種別（競合／協調課題）に関わらず，ほとんどの特徴量が正の相関を示し，同期傾向にあることが分かった．また，表情に関する特徴量の一部に非同期傾向を示すペアが存在することも確認した．さらに，感情体験の同調傾向については，競合課題では多くの女性ペアは同調傾向を，男性ペアは非同期傾向を示したが，協調課題では男女に関わらず同調傾向を示すペアが多かった．また，感情体験は同調傾向を示すペアと非同調傾向を示すペアが存在するものの，表情・音声・生理反応のほとんどの特徴量が対話者間で正の相関を示し，感情体験とは無関係に表出行動に模倣の関係がある可能性を示した．
Current Status of Research Progress	Current Status of Research Progress 3: Progress in research has been slightly delayed. Reason 感情表出の模倣を調べるために，まずは対話場面における感情表出の頻度を調査する必要が出てきた．本調査は当初の計画になかったが，コンピュータとの対話では人間の感情表出が少なくなることを定量的に示し，今後，マン―マシン間対話を行う上で示唆に富んだ結果を得ることとなった．本調査を導入したことで，計画していたWOZ対話システムの開発に着手できなかったが，現在は開発に必要な機材の入手を進めており，次年度以降に開発に着手することが可能である．
Strategy for Future Research Activity	話者の表情・音声・生理反応をリアルタイムにモニタリングしながら対話システムの表情・音声の制御を半自動で行うWOZ 対話システムの開発に着手する。対話システムの出力としてキャラクタエージェントを実装する。キャラクタの表情生成については，簡易モーションキャプチャのMicrosoft Kinect や音声インタラクションシステム構築ツールキットの「MMDAgent」を用いる予定である。Kinect を利用して取得した対話者の顔の特徴点の動きを参考に，キャラクタの模倣の表情を生成する。また合成音声に関しても，話者の音声の情報をMMDAgentから取得して主に韻律情報を操作した模倣の合成音声を呈示する。対話システムの発話生成に関しては，応答の即時性，しりとりゲームにおける回答の人間らしさの保持，発話内容が複雑化する可能性を考慮し，Text-To-Speech を利用して人手にて生成する。
Expenditure Plans for the Next FY Research Funding	感情表出の模倣を調べるために，まずは対話場面における感情表出の程度の調査が必要となった．本調査は当初の計画になかったが，コンピュータとの対話では人間の感情表出が少なくなることを定量的に示し，今後，マン―マシン間対話を行う上で示唆に富んだ結果を得ることとなった．また，本調査を導入したことで，開発に必要な機材の入手が遅れたため，計画していたWOZ対話システムの開発に着手できなかった．そのために，次年度使用額が生じた． WOZ対話システムの開発を進めるため，開発に必要な機材の調達を継続する．