| 研究課題/領域番号 |
25871139
|
|---|
| 研究機関 | 独立行政法人理化学研究所 |
|---|
研究代表者 |
有本 泰子 独立行政法人理化学研究所, 脳科学総合研究センター, 客員研究員 (60586957)
|
|---|
| 研究期間 (年度) |
2013-04-01 – 2017-03-31
|
| キーワード | ヒューマンエージェントインタラクション / マルチモーダル情報処理 / 感情 / 音声 / 生理反応 / 表情 |
|---|
| 研究実績の概要 |
表出行動の模倣が話者の感情理解が前提となっていることから，対話場面の感情理解・伝達に関して調査を進めた。今年度は，対面コミュニケーション場面の感情表出の調査だけではなく，話者同士の間に人工物を介したコミュニケーション場面の感情表出の調査を行った。その結果，対面コミュニケーション場面よりも人工物を介しているコミュニケーション場面のほうが，話者は情報を伝達することが困難であると感じているのと同時に，感情を理解することも，伝達することも困難であると感じていることを明らかにした。さらに，話者本人による情動の評価実験で得られたデータから，対面コミュニケーション場面よりも人工物を介したコミュニケーションの方が情動の理解度も低くなることを示すとともに，用いた人工物の種類によって理解度に差が生じることを示した。これは人工物の種類によって表出される感情の情報の伝達が制限されるためと考えられる。
さらに，対話システムの表情・音声の制御を半自動で行うWOZ対話システムの開発に着手した。
対話システムの出力として音声インタラクションシステム構築ツールキットである「MMDAgent」を利用し，応答の即時性，しりとりゲームにおける回答の人間らしさの保持，発話内容が複雑化する可能性などの可能性について検討した。その結果，MMDAgentを用いて，表情の生成および音声の韻律情報の操作がある程度可能であることが分かった。さらに，しりとり対話を実現するための，対話（状態）遷移について検討した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
4: 遅れている
理由
今年度は，前半に収録データが消去されてしまい，その復旧作業に時間がかかった。さらに，本務先の変更となったため，作業を中断せざるおえなくなった。そのため，本年度に予定していた開発作業は着手しているものの，未完となっている。来年度以降に開発および実験を行う予定である。
|
| 今後の研究の推進方策 |
対話システムの表情・音声の制御を半自動で行うWOZ対話システムの開発を進める。話者の表情・音声・生理反応をリアルタイムにモニタリングしながら対話システムの表情・音声の制御を半自動で行うWOZ 対話システムの開発に着手する。対話システムの出力としてキャラクタエージェントを実装する。キャラクタの表情生成については，簡易モーションキャプチャのMicrosoft Kinect や音声インタラクションシステム構築ツールキットの「MMDAgent」を用いる予定である。Kinect を利用して取得した対話者の顔の特徴点の動きを参考に，キャラクタの模倣の表情を生成する。また合成音声に関しても，話者の音声の情報をMMDAgentから取得して主に韻律情報を操作した模倣の合成音声を呈示する。対話システムの発話生成に関しては，応答の即時性，しりとりゲームにおける回答の人間らしさの保持，発話内容が複雑化する可能性を考慮し，Text-To-Speech を利用して人手にて生成する。
さらに，表情・音声・生理反応などのマルチモーダル感情情報の分析と双方向型マルチモーダル感情コミュニケーションのモデル化を行う。表出行動の模倣が話者の感情状態および感情表出に与える影響を検証する。感情状態に与える表出の模倣の影響の検証では，システム側の模倣状態と主観評価実験により得られた感情の主観評価値および没入感との関係を明らかにする。感情表出に与える影響の検証ではシステム側の模倣の有無により話者の外在的・内在的感情表出（表情・音声・心拍・発汗など）との関係を明らかにする。これらの分析により明らかにした知見から，マン－マシン間における双方向型マルチモーダル感情コミュニケーションのモデル化を行う。
|
| 次年度使用額が生じた理由 |
今年度は，前半に収録データが消去されてしまい，その復旧作業に時間がかかった。さらに，本務先の変更となったため，作業を中断せざるおえなくなった。そのため，本年度に予定していた開発作業は着手しているものの，未完となっている。そのため，開発に必要と考えられていた物品を購入することができなくなった。
|
| 次年度使用額の使用計画 |
次年度に対話システムの表情・音声の制御を半自動で行うWOZ対話システムの開発を進める。そのために必要なセンサー類・ソフトウェア・PCを購入する予定である。
また，開発したWOZ対話システムを使用した実験を行うため，被験者への謝礼を支払う予定である。
|
