マルチモーダル対話モデルを用いた情動アウェアな対話の実現
Publicly Offered Research
Project Area | Studies on intelligent systems for dialogue toward the human-machine symbiotic society |
Project/Area Number |
22H04865
|
Research Category |
Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
|
Allocation Type | Single-year Grants |
Review Section |
Complex systems
|
Research Institution | Osaka University |
Principal Investigator |
長井 隆行 大阪大学, 大学院基礎工学研究科, 教授 (40303010)
|
Project Period (FY) |
2022-04-01 – 2024-03-31
|
Project Status |
Granted (Fiscal Year 2023)
|
Budget Amount *help |
¥22,100,000 (Direct Cost: ¥17,000,000、Indirect Cost: ¥5,100,000)
Fiscal Year 2023: ¥11,050,000 (Direct Cost: ¥8,500,000、Indirect Cost: ¥2,550,000)
Fiscal Year 2022: ¥11,050,000 (Direct Cost: ¥8,500,000、Indirect Cost: ¥2,550,000)
|
Keywords | マルチモーダル対話 / 記号接地 / 情動 / ヒューマノイドロボット |
Outline of Research at the Start |
本課題では,これまで開発してきたマルチモーダル対話のための基盤技術を基に,以下の4つの問題を解決することを目指す。(1)マルチモーダル対話モデルの機能や性能に対する評価と改良,(2)マルチモーダル対話モデルへの情動の組み込み,(3)情動を組み込んだマルチモーダル対話モデルの応用(情動アウェア対話の実現と応用),(4)情動を組み込んだマルチモーダル対話モデルの倫理的問題への寄与の可能性検討,である.これらの課題は,ロボティクスと自然言語・対話研究の本質的な融合を必要とする.つまり本提案は,当該領域の研究推進に貢献すると共に,新しい研究領域を創出し得る.
|
Outline of Annual Research Achievements |
本公募研究は,1)マルチモーダル対話モデルの機能や性能に対する評価と改良,2)マルチモーダル対話モデルへの情動の組み込み,3)情動を組み込んだマルチモーダル対話モデルの応用(情動アウェア対話の実現と応用),4)情動を組み込んだマルチモーダル対話モデルの倫理的問題への寄与の可能性検討,の4点について,2022年度~2023年度に取り組むものである.以下本年度の成果を述べる. 1)ヒューマノイドロボットを用いたマルチモーダル対話フレームワーク これまでに開発したマルチモーダル対話モデルをヒューマノイドロボット上に実装し,実ヒューマノイドロボットの立ち話を実現した.我々はこれをHumanoidBotと呼び,この枠組みをベースとして今後の研究を展開する.HumanoidBotは日本科学未来館や国際会議でデモ展示を行い,非常に好評であった.また,被験者による主観評価実験を実施し,対話やロボットへの印象にヒューマノイドロボットのバランス制御が及ぼす影響を調査した.その結果,ヒューマノイドロボットの自然なバランス制御が,ロボットに対する印象を有意に向上させることが明らかとなった. 2)対話者の心的状況を変化させる対話 情動アウェア対話は,対話によって相手の心的状況に影響を及ぼすことを一つの目的とするが,そのための最初のステップとして,そもそも雑談対話によって相手の心情に働きかけることが可能かどうかを検討した.ここでは問題を「相手の発話の肯定度の総和を最大化するように,生成モデルが出力する候補の中から発話文を選択すること」とした.この際,相手発話の肯定度は,対話システムが自身でシミュレートすることで予測する.実験の結果,未来の予測を用いて現在の発話を選択することで,相手に肯定度の高い発言をさせることが可能であることが分かった.今後は被験者実験を行い,より厳密なシステム評価を実施する予定である.
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当該年度の計画を予定通りに実行した.結果としても、ヒューマノイドロボットへの実装やデモを実施するなど,本研究のスコープよりも広い範囲で成果を出すことができた.また,次年度検討予定の内容も先んじて検討を始めることができており,研究は順調に進展していると言える.
|
Strategy for Future Research Activity |
本研究は順調に進捗しており,次年度も計画通り進める.また,早めに進捗している部分については,計画を前倒して研究を進める.現在、大規模言語モデルを用いた研究開発が急速に進んでいるため,そうした動向見据えつつ柔軟に研究目標を達成する.
|
Report
(1 results)
Research Products
(9 results)