2015 Fiscal Year Research-status Report
マン―マシン間対話における双方向型マルチモーダル感情コミュニケーションのモデル化
| Project/Area Number |
25871139
|
|---|
| Research Institution | Shibaura Institute of Technology |
|---|
Principal Investigator |
有本 泰子 芝浦工業大学, 工学部, 准教授 (60586957)
|
|---|
| Project Period (FY) |
2013-04-01 – 2017-03-31
|
| Keywords | ヒューマンエージェントインタラクション / マルチモーダル情報処理 / 感情 / 音声 / 生理反応 / 表情 |
|---|
| Outline of Annual Research Achievements |
本研究では，マン―マシン間の双方向的な感情インタラクションの実現を目指し，話者を対話に没入させ，感情表出の頻度および強度を人間同士の対話に近づけるコンピュータの振る舞いを明らかにすることを目的としている。まずは人間同士の双方向的な感情コミュニケーションのひとつである表出行動の模倣に着目して，話者のマルチモーダルな表出行動をコンピュータに模倣させることでマン―マシン間の双方向的な感情インタラクションを実現し，その効果を検証する。
今年度は，マン－マシン間の感情インタラクションを実現することを目指し，人間同士の対話場面の感情理解とマルチモーダルな感情表出との関連について分析を進めた。本分析の研究成果を論文としてまとめ，国内科学雑誌に発表した。さらに，来年度に査読つき国際学会での発表が決定している。
また，マンーマシン間の対話実験を行うため，実験に必要な収録機材や計測器の調達を行い，実験環境を整備した。さらに，対話実験で使用する予定の対話システムの動作検証を行い，課題対話への適用可能性を検討した。その結果，課題遂行のために発話生成に用いる辞書の構築，および辞書内を探索する仕組みの構築が必要であることが判明した。来年度は，辞書の構築および探索モジュールの構築を進め，早急に実験環境を整備し，マン－マシン間の対話実験を行って，コンピュータによる感情表出の模倣が対話の円滑化に与える効果を検証する予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
今年度は，再び本務先が変更となり，実験場所を他機関へ移設したこと，さらに研究代表者の体調不良により，予定していた実験はほとんど実行することができなかった。来年度への繰越を行い，本年度の計画は来年度に実行する予定である。
|
| Strategy for Future Research Activity |
対話システムの表情・音声の制御を半自動で行うWOZ対話システムの開発を進める。本システムでは，話者の表情・音声・生理反応をリアルタイムにモニタリングし，話者のアクション（リアクション）に対するシステム側のリアクションとして，キャラクターエージェントの音声･表情を半自動的に制御する。キャラクタの表情生成については音声インタラクションシステム構築ツールキット「MMDAgent」を用いる予定である。また，キャラクタの合成音声については，主に韻律情報を操作し，話者とできる限り同じ感情の表現を実現する。対話システムの発話生成に関しては，対話内容にしりとりゲームを採用するため，これまでに収録してきた人間同士のしりとり課題対話からしりとり用辞書を作成し，実装する予定である。また，回答の人間らしさの保持や発話内容が複雑化した場合を考慮し，Text-To-Speechを利用して人手による入力から発話を生成する可能性も検討する。
WOZ対話システムの開発後は，被験者に対し，バーチャルキャラクターによる表出行動の模倣が話者の感情状態および感情表出に与える影響を検証する実験を行う。話者の感情状態を計測するため，実験中は表情・音声・生理反応（心拍・発汗・表情筋）の計測を行う。これらの話者の感情状態を計測した情報およびキャラクタエージェントの感情表出のタイミングの情報を元に，双方向型マルチモーダル感情コミュニケーションのモデル化を行う。
|
| Causes of Carryover |
今年度は，再び本務先が変更となり，実験場所を他機関へ移設したこと，さらに研究代表者の体調不良により，予定していた実験はほとんど実行することができなかった。
|
| Expenditure Plan for Carryover Budget |
来年度へ予算を繰越し，本年度の計画は来年度に実行する予定である。昨年度，今年度の遅れを取り戻すために，人的資源を増やし作業を効率化することに予算を使用する。
|
Research Products
(4 results)
