2019 Fiscal Year Research-status Report
Development of Emotional Expression Emphasizing System to Enhance the Social Presence of AI Agents
| Project/Area Number |
19K12081
|
|---|
| Research Institution | Kyoto Institute of Technology |
|---|
Principal Investigator |
田中 一晶 京都工芸繊維大学, 情報工学・人間科学系, 助教 (70721877)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 音声対話エージェント / 感情表現 / 音楽 / 音声アシスタント / ソーシャルプレゼンス |
|---|
| Outline of Annual Research Achievements |
感情表現強調システムの開発に向け，音声対話エージェントの合成音声に音楽（BGM，SE）や擬態語（にこにこ／しょぼん）を付与する効果を検証した．それらの音情報を合成音声に付与した場合，合成音声のみの場合と比べて感情伝達効果，人間らしさ，話しかけやすさがどのように変化するか調べるため，展示会において幅広い年齢層の参加者から印象評価を収集した．その結果，平坦な合成音声であっても音情報を付与することで感情を意図通りに伝達することができた．さらに，感情的な合成音声に付与した場合でも，その感情伝達効果を高めることができた．また，ポジティブな感情表現においてはBGMやSEを用いた場合，エージェントの人間らしさや話しかけやすさを向上させることができた．これらの効果において特にBGMによる強調的感情表現が最も顕著であった．しかしながら，BGMを強調的感情表現として使用する場合，特定の感情を伝達する際にあらかじめ用意した同じBGMを毎回再生すると機械的な印象を与える恐れがある．そこで，伝達する感情に応じたBGMを深層学習技術による音楽生成手法を用いて自動生成するシステムを試作した．展示会における来場者の感想から，特に嬉しい／悲しい感情については試作システムにおいて生成したBGMで伝わる可能性が示された．一方，怒りの感情については生成したBGMのみでは伝わりにくいことも分かった．強調的感情表現は合成音声による言語情報や感情的な合成音声における声色と併せて使用するものであるため，その場合には生成したBGMであっても怒り等の多様な感情伝達が可能であるかもしれない．以上の成果から，合成音声での対話で感情伝達を行う場合においてBGMによる強調的感情表現が有効である可能性，それによって人間らしく話しかけやすい音声対話エージェントを構築できる可能性を示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
エージェントの感情表現を音楽（BGM）で強調する有効性（感情伝達効果，人間らしさ，話しかけやすさの向上）を示すことができ，論文誌に投稿中（条件付き採録となり，現在再査読中）である．また，そのBGMを機械学習技術で自動生成する試作システムとして，人の顔表情から感情認識を行い，その感情情報に応じたBGMを生成するシステムを構築した．本システムは京都市京セラ美術館に本年3月に展示して参加者に体験してもらい，データ収集を行う予定であったが，COVID-19感染拡大により途中で中止となった．評価する上で十分なデータを収集するには至らなかったが，参加者の意見から感情に合ったBGMが生成されていると感じられることが部分的に示唆された．
|
| Strategy for Future Research Activity |
感情認識結果からBGMを生成する試作システムにおいて，生成されたBGMが人の感情と合致しているか評価する実験室実験を実施する．また，京都工芸繊維大学の敷地内に移設予定である旧家に本システムを設置し，来訪者の反応を観察する実験も実施する．さらに，エージェントの台詞からBGMを生成できるように本試作システムを拡張し，同様に評価実験を実施する．
|
| Causes of Carryover |
実験補助員として採用予定であった博士後期課程の学生が本学RAとして採用され，その用務に関連する実験補助として本科研費の実験に従事したため，その謝金が未使用額として生じた．また，実験の一部を展示会で実施したため，被験者謝金の一部が不要となった．しかしながら，COVID-19感染拡大により途中で中止となった展示会で実施予定の評価実験があり，その実験を次年度に実験室実験として引き続き行うため，その実験補助員謝金および被験者謝金として未使用額を使用する予定である．
|
