2014 Fiscal Year Research-status Report
マン―マシン間対話における双方向型マルチモーダル感情コミュニケーションのモデル化
| Project/Area Number |
25871139
|
|---|
| Research Institution | The Institute of Physical and Chemical Research |
|---|
Principal Investigator |
有本 泰子 独立行政法人理化学研究所, 脳科学総合研究センター, 客員研究員 (60586957)
|
|---|
| Project Period (FY) |
2013-04-01 – 2017-03-31
|
| Keywords | ヒューマンエージェントインタラクション / マルチモーダル情報処理 / 感情 / 音声 / 生理反応 / 表情 |
|---|
| Outline of Annual Research Achievements |
表出行動の模倣が話者の感情理解が前提となっていることから，対話場面の感情理解・伝達に関して調査を進めた。今年度は，対面コミュニケーション場面の感情表出の調査だけではなく，話者同士の間に人工物を介したコミュニケーション場面の感情表出の調査を行った。その結果，対面コミュニケーション場面よりも人工物を介しているコミュニケーション場面のほうが，話者は情報を伝達することが困難であると感じているのと同時に，感情を理解することも，伝達することも困難であると感じていることを明らかにした。さらに，話者本人による情動の評価実験で得られたデータから，対面コミュニケーション場面よりも人工物を介したコミュニケーションの方が情動の理解度も低くなることを示すとともに，用いた人工物の種類によって理解度に差が生じることを示した。これは人工物の種類によって表出される感情の情報の伝達が制限されるためと考えられる。
さらに，対話システムの表情・音声の制御を半自動で行うWOZ対話システムの開発に着手した。
対話システムの出力として音声インタラクションシステム構築ツールキットである「MMDAgent」を利用し，応答の即時性，しりとりゲームにおける回答の人間らしさの保持，発話内容が複雑化する可能性などの可能性について検討した。その結果，MMDAgentを用いて，表情の生成および音声の韻律情報の操作がある程度可能であることが分かった。さらに，しりとり対話を実現するための，対話（状態）遷移について検討した。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
今年度は，前半に収録データが消去されてしまい，その復旧作業に時間がかかった。さらに，本務先の変更となったため，作業を中断せざるおえなくなった。そのため，本年度に予定していた開発作業は着手しているものの，未完となっている。来年度以降に開発および実験を行う予定である。
|
| Strategy for Future Research Activity |
対話システムの表情・音声の制御を半自動で行うWOZ対話システムの開発を進める。話者の表情・音声・生理反応をリアルタイムにモニタリングしながら対話システムの表情・音声の制御を半自動で行うWOZ 対話システムの開発に着手する。対話システムの出力としてキャラクタエージェントを実装する。キャラクタの表情生成については，簡易モーションキャプチャのMicrosoft Kinect や音声インタラクションシステム構築ツールキットの「MMDAgent」を用いる予定である。Kinect を利用して取得した対話者の顔の特徴点の動きを参考に，キャラクタの模倣の表情を生成する。また合成音声に関しても，話者の音声の情報をMMDAgentから取得して主に韻律情報を操作した模倣の合成音声を呈示する。対話システムの発話生成に関しては，応答の即時性，しりとりゲームにおける回答の人間らしさの保持，発話内容が複雑化する可能性を考慮し，Text-To-Speech を利用して人手にて生成する。
さらに，表情・音声・生理反応などのマルチモーダル感情情報の分析と双方向型マルチモーダル感情コミュニケーションのモデル化を行う。表出行動の模倣が話者の感情状態および感情表出に与える影響を検証する。感情状態に与える表出の模倣の影響の検証では，システム側の模倣状態と主観評価実験により得られた感情の主観評価値および没入感との関係を明らかにする。感情表出に与える影響の検証ではシステム側の模倣の有無により話者の外在的・内在的感情表出（表情・音声・心拍・発汗など）との関係を明らかにする。これらの分析により明らかにした知見から，マン－マシン間における双方向型マルチモーダル感情コミュニケーションのモデル化を行う。
|
| Causes of Carryover |
今年度は，前半に収録データが消去されてしまい，その復旧作業に時間がかかった。さらに，本務先の変更となったため，作業を中断せざるおえなくなった。そのため，本年度に予定していた開発作業は着手しているものの，未完となっている。そのため，開発に必要と考えられていた物品を購入することができなくなった。
|
| Expenditure Plan for Carryover Budget |
次年度に対話システムの表情・音声の制御を半自動で行うWOZ対話システムの開発を進める。そのために必要なセンサー類・ソフトウェア・PCを購入する予定である。
また，開発したWOZ対話システムを使用した実験を行うため，被験者への謝礼を支払う予定である。
|
Research Products
(4 results)
