2022 Fiscal Year Annual Research Report
Development of Emotional Expression Emphasizing System to Enhance the Social Presence of AI Agents
| Project/Area Number |
19K12081
|
|---|
| Research Institution | Kyoto Institute of Technology |
|---|
Principal Investigator |
田中 一晶 京都工芸繊維大学, 情報工学・人間科学系, 准教授 (70721877)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 音声対話エージェント / 感情表現 / 音楽 / ソーシャルプレゼンス / ロボットハンド / 身体接触 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，対話エージェントの感情表現を視覚情報に依存しない情報によって強調し，その社会的存在感を高めることである．これまでの成果において，エージェントの音声による感情表現をBGMによって強調すると感情が伝わりやすくなり，その結果，エージェントの社会的存在感が高まることを明らかにした．また，感情に対応したBGMを機械学習技術によって自動生成する手法を提案した．さらに，感情表現を強調する情報として聴覚に限定せず，触覚にも着目し，会話の中で感情が高まる部分においてロボットハンドでギュっと握る効果を検証した．その結果，会話の流れに応じたロボットハンドの動きは，ロボットハンドが相手の手であると感じさせることに寄与し，相手と触れ合っている感覚によって社会的存在感が高まることを示した．この実験は，遠隔コミュニケーションを想定し，人同士の対話で行ったが，今年度は仮想空間のCGエージェントとの対話でその効果を検証した．実験では，CGエージェントをディスプレイ，VRヘッドセット，ARヘッドセットでそれぞれ表示する条件を比較し，全ての条件においてロボットハンドで被験者の手を握りながら会話を行った．その結果，合成音声では，エージェントの手の動きが会話の流れに合っていると感じにくく，手の動きによる強調の効果はいずれの条件においても見られなかった．その一方で，VRやARによってロボットハンドにCGエージェントの手を重畳して提示すると，エージェントの映像とロボットハンドの間の境界がなくなることでロボットハンドをエージェントの手であると感じやすくなり，ディスプレイ条件よりも社会的存在感が高まることが分かった．この効果はVR条件において顕著であり，AR条件では，CGエージェントの手だけでなく実空間のロボットハンドも直接見えてしまうことから，CGとロボットハンドを重畳する効果が弱まることも分かった．
|
