Publicly Offered Research
Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
本課題では，これまで開発してきたマルチモーダル対話のための基盤技術を基に，以下の4つの問題を解決することを目指す。(1)マルチモーダル対話モデルの機能や性能に対する評価と改良，(2)マルチモーダル対話モデルへの情動の組み込み，(3)情動を組み込んだマルチモーダル対話モデルの応用（情動アウェア対話の実現と応用），(4)情動を組み込んだマルチモーダル対話モデルの倫理的問題への寄与の可能性検討，である．これらの課題は，ロボティクスと自然言語・対話研究の本質的な融合を必要とする．つまり本提案は，当該領域の研究推進に貢献すると共に，新しい研究領域を創出し得る．
本公募研究は，１）マルチモーダル対話モデルの機能や性能に対する評価と改良，２）マルチモーダル対話モデルへの情動の組み込み，３）情動を組み込んだマルチモーダル対話モデルの応用（情動アウェア対話の実現と応用），４）情動を組み込んだマルチモーダル対話モデルの倫理的問題への寄与の可能性検討，の４点について，2022年度～2023年度に取り組むものである．以下本年度の成果を述べる．１）ヒューマノイドロボットを用いたマルチモーダル対話フレームワークこれまでに開発したマルチモーダル対話モデルをヒューマノイドロボット上に実装し，実ヒューマノイドロボットの立ち話を実現した．我々はこれをHumanoidBotと呼び，この枠組みをベースとして今後の研究を展開する．HumanoidBotは日本科学未来館や国際会議でデモ展示を行い，非常に好評であった．また，被験者による主観評価実験を実施し，対話やロボットへの印象にヒューマノイドロボットのバランス制御が及ぼす影響を調査した．その結果，ヒューマノイドロボットの自然なバランス制御が，ロボットに対する印象を有意に向上させることが明らかとなった．２）対話者の心的状況を変化させる対話情動アウェア対話は，対話によって相手の心的状況に影響を及ぼすことを一つの目的とするが，そのための最初のステップとして，そもそも雑談対話によって相手の心情に働きかけることが可能かどうかを検討した．ここでは問題を「相手の発話の肯定度の総和を最大化するように，生成モデルが出力する候補の中から発話文を選択すること」とした．この際，相手発話の肯定度は，対話システムが自身でシミュレートすることで予測する．実験の結果，未来の予測を用いて現在の発話を選択することで，相手に肯定度の高い発言をさせることが可能であることが分かった．今後は被験者実験を行い，より厳密なシステム評価を実施する予定である．
2: Research has progressed on the whole more than it was originally planned.
当該年度の計画を予定通りに実行した．結果としても、ヒューマノイドロボットへの実装やデモを実施するなど，本研究のスコープよりも広い範囲で成果を出すことができた．また，次年度検討予定の内容も先んじて検討を始めることができており，研究は順調に進展していると言える．
本研究は順調に進捗しており，次年度も計画通り進める．また，早めに進捗している部分については，計画を前倒して研究を進める．現在、大規模言語モデルを用いた研究開発が急速に進んでいるため，そうした動向見据えつつ柔軟に研究目標を達成する．
All 2022
All Journal Article (5 results) (of which Peer Reviewed: 4 results, Open Access: 3 results) Presentation (2 results) (of which Invited: 1 results) Book (2 results)
Advanced Robotics
Volume: 37 Issue: 4 Pages: 281-296
10.1080/01691864.2022.2141583
2022 IEEE-RAS 21st International Conference on Humanoid Robots (Humanoids)
Pages: 231-237
10.1109/humanoids53995.2022.10000209
Proceedings of the IEEE 11th global conference on consumer electronics
Volume: - Pages: 357-360
10.1109/gcce56475.2022.10014410
arXiv:2210.12863 [cs.RO]
Pages: 1-6
Proceedings of the Thirteenth Language Resources and Evaluation Conference
Pages: 5759-5767
130008119213
