2020 Fiscal Year Research-status Report
Development of Emotional Expression Emphasizing System to Enhance the Social Presence of AI Agents
| Project/Area Number |
19K12081
|
|---|
| Research Institution | Kyoto Institute of Technology |
|---|
Principal Investigator |
田中 一晶 京都工芸繊維大学, 情報工学・人間科学系, 助教 (70721877)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 音声対話エージェント / 感情表現 / 音楽 / ソーシャルプレゼンス / ロボットハンド / 身体接触 |
|---|
| Outline of Annual Research Achievements |
昨年度に試作した，感情に対応するBGMを機械学習技術で自動生成するシステムを学内の建屋に設置する実験を準備中である．建築物をエージェントとし，温度や照度等の環境情報から建築物の感情を表現するモデルを設定し，その感情を音楽で表現（音楽的感情表現）することで，建屋内にいる人にどのような影響を与えるか観察する予定である．また，音楽的感情表現とは別のアプローチとして，ロボットハンド型身体接触デバイスを製作し，それによってバーチャルキャラクタとの対話やビデオ通話において触覚で感情を強調する実験も計画している．現在までに，ロボットハンド型身体接触デバイスを製作し，VTuberと呼ばれるバーチャルキャラクタとの握手会に応用したイベントを開催し，参加者からの感想から実在感や親しみが向上する可能性が示唆された．また，携帯端末でのビデオ通話と組み合わせ，手を握り合いながら会話している状況をシミュレートした場合，会話の流れに合わせて感情が高まる状況で手を強く握るという身体接触インタラクションを行うと，相手と同じ空間で会話している感覚や相手への親しみが高まることを示した．これは，縮小表示された相手映像を見ながら行う臨場感が乏しいビデオ通話であっても，相手の感情を触覚で強調して提示することでその臨場感が高まり，対面での身体接触インタラクションに近づくことを意味している．この実験で使用したロボットハンド型身体接触デバイスに関する技術について特許出願を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
昨年度，COVID-19感染拡大により美術館での展示で実施予定であった評価実験が中止となったため，音楽的感情表現の自動生成システムの評価は遅延していると言える．そのため，学内の建屋に自動生成システムを実装する実験を計画している．また，音楽的感情表現の有効性に関する論文が採択された．また，感情表現を強調提示する新たなアプローチとして，ロボットハンド型身体接触デバイスを用いる方法を考案し，実験を実施した．そのデバイスに関する特許を出願したほか，論文を投稿中である．
|
| Strategy for Future Research Activity |
音楽的感情表現の自動生成システムで，建築物の感情を表現する実験を通してシステムの評価を行う．また，バーチャルキャラクタの感情をロボットハンド型身体接触デバイスで強調する実験を様々な対話メディア（ビデオ通話，ヘッドマウントディスプレイ等）で実施することで，触覚による感情の強調提示に有効な対話形式を明らかにする．
|
| Causes of Carryover |
COVID-19の感染防止のため，学会がオンラインで実施されたことにより，出張費が不要になった．また，担当学生の指導をほとんどオンラインで実施することになり，それによって予定していた実験準備が大幅に遅延している．この実験は次年度に実施する予定であり，その実験機材や被験者実験の謝金，成果発表のための学会参加費，論文掲載費等を支出する．
|
