2016 Fiscal Year Annual Research Report
Modeling bidirectional multimodal emotion communication for man-to-machine dialog
| Project/Area Number |
25871139
|
|---|
| Research Institution | Shibaura Institute of Technology |
|---|
Principal Investigator |
有本 泰子 芝浦工業大学, 工学部, 准教授 (60586957)
|
|---|
| Project Period (FY) |
2013-04-01 – 2017-03-31
|
| Keywords | ヒューマンエージェントインタラクション / マルチモーダル情報処理 / 感情 / 音声 / 生理反応 / 表情 |
|---|
| Outline of Annual Research Achievements |
本研究では、マン－マシン間の双方向的な感情インタラクションの実現を目指し、話者を対話に没入させ、感情表出の頻度および強度を人間同士の対話に近づけるコンピュータの振る舞いを明らかにすることを目的としている。昨年度に引き続き、人間同士の対話場面の感情理解とマルチモーダルな感情表出との関連について文責を進め、研究成果を論文にまとめて、査読つき国際学会で発表を行った。
さらに、今年度は、人間とキャラクタエージェントとの対話実験を行い、対話中のキャラクタエージェントの感情表出の有無によって話者の対話への没入度に変化があるかを確認した。28名の実験参加者（男性15名、女性13名、平均年齢21.1歳（sd=1.81））にキャラクタエージェントと対話する実験を行った。実験に必要な収録機材や計測器の調達を行い実験環境を整備し、簡易な防音環境を居室内に構築した。実験中の音声認識エラーなどを極力排除するために、WOZ方式によるキャラクタエージェントとの対話を行った。キャラクタエージェントとの円滑な対話を実現するため、キャラクタエージェントの応答可能性を検索可能なシステムを作成し、実験に利用した。カメラとマイクを用いて人の外在的な表出を計測するとともに、内在的な変化として発汗・心拍・表情筋（大頬骨筋および雛媚筋）などの自律神経系反応を計測した。また、計測したデータを文責可能な形に整備するため、対話に含まれる発話内容の転記作業を行った。
本データを用いて、話者のマルチモーダルな表出行動とコンピュータの模倣との関係を分析し、マン－マシン間の双方向的な感情インタラクションの効果を検証する。
|
