• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

マルチモーダル対話モデルを用いた情動アウェアな対話の実現

公募研究

研究領域人間機械共生社会を目指した対話知能システム学
研究課題/領域番号 22H04865
研究種目

新学術領域研究(研究領域提案型)

配分区分補助金
審査区分 複合領域
研究機関大阪大学

研究代表者

長井 隆行  大阪大学, 大学院基礎工学研究科, 教授 (40303010)

研究期間 (年度) 2022-04-01 – 2024-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
22,100千円 (直接経費: 17,000千円、間接経費: 5,100千円)
2023年度: 11,050千円 (直接経費: 8,500千円、間接経費: 2,550千円)
2022年度: 11,050千円 (直接経費: 8,500千円、間接経費: 2,550千円)
キーワードマルチモーダル対話 / 記号接地 / 情動 / ヒューマノイドロボット
研究開始時の研究の概要

本課題では,これまで開発してきたマルチモーダル対話のための基盤技術を基に,以下の4つの問題を解決することを目指す。(1)マルチモーダル対話モデルの機能や性能に対する評価と改良,(2)マルチモーダル対話モデルへの情動の組み込み,(3)情動を組み込んだマルチモーダル対話モデルの応用(情動アウェア対話の実現と応用),(4)情動を組み込んだマルチモーダル対話モデルの倫理的問題への寄与の可能性検討,である.これらの課題は,ロボティクスと自然言語・対話研究の本質的な融合を必要とする.つまり本提案は,当該領域の研究推進に貢献すると共に,新しい研究領域を創出し得る.

研究実績の概要

本公募研究は,1)マルチモーダル対話モデルの機能や性能に対する評価と改良,2)マルチモーダル対話モデルへの情動の組み込み,3)情動を組み込んだマルチモーダル対話モデルの応用(情動アウェア対話の実現と応用),4)情動を組み込んだマルチモーダル対話モデルの倫理的問題への寄与の可能性検討,の4点について,2022年度~2023年度に取り組むものである.以下本年度の成果を述べる.
1)ヒューマノイドロボットを用いたマルチモーダル対話フレームワーク
これまでに開発したマルチモーダル対話モデルをヒューマノイドロボット上に実装し,実ヒューマノイドロボットの立ち話を実現した.我々はこれをHumanoidBotと呼び,この枠組みをベースとして今後の研究を展開する.HumanoidBotは日本科学未来館や国際会議でデモ展示を行い,非常に好評であった.また,被験者による主観評価実験を実施し,対話やロボットへの印象にヒューマノイドロボットのバランス制御が及ぼす影響を調査した.その結果,ヒューマノイドロボットの自然なバランス制御が,ロボットに対する印象を有意に向上させることが明らかとなった.
2)対話者の心的状況を変化させる対話
情動アウェア対話は,対話によって相手の心的状況に影響を及ぼすことを一つの目的とするが,そのための最初のステップとして,そもそも雑談対話によって相手の心情に働きかけることが可能かどうかを検討した.ここでは問題を「相手の発話の肯定度の総和を最大化するように,生成モデルが出力する候補の中から発話文を選択すること」とした.この際,相手発話の肯定度は,対話システムが自身でシミュレートすることで予測する.実験の結果,未来の予測を用いて現在の発話を選択することで,相手に肯定度の高い発言をさせることが可能であることが分かった.今後は被験者実験を行い,より厳密なシステム評価を実施する予定である.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

当該年度の計画を予定通りに実行した.結果としても、ヒューマノイドロボットへの実装やデモを実施するなど,本研究のスコープよりも広い範囲で成果を出すことができた.また,次年度検討予定の内容も先んじて検討を始めることができており,研究は順調に進展していると言える.

今後の研究の推進方策

本研究は順調に進捗しており,次年度も計画通り進める.また,早めに進捗している部分については,計画を前倒して研究を進める.現在、大規模言語モデルを用いた研究開発が急速に進んでいるため,そうした動向見据えつつ柔軟に研究目標を達成する.

報告書

(1件)
  • 2022 実績報告書
  • 研究成果

    (9件)

すべて 2022

すべて 雑誌論文 (5件) (うち査読あり 4件、 オープンアクセス 3件) 学会発表 (2件) (うち招待講演 1件) 図書 (2件)

  • [雑誌論文] Concept formation through multimodal integration using multimodal BERT and VQ-VAE2022

    • 著者名/発表者名
      Miyazawa Kazuki、Nagai Takayuki
    • 雑誌名

      Advanced Robotics

      巻: 37 号: 4 ページ: 281-296

    • DOI

      10.1080/01691864.2022.2141583

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] HumanoidBot: Full-Body Humanoid Chitchat System2022

    • 著者名/発表者名
      Seppelfelt Gabriel D. C.、Asaka Tomoki、Nagai Takayuki、Yukizaki Soh
    • 雑誌名

      2022 IEEE-RAS 21st International Conference on Humanoid Robots (Humanoids)

      ページ: 231-237

    • DOI

      10.1109/humanoids53995.2022.10000209

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] Dialogue Robot Competition for the Development of an Android Robot with Hospitality2022

    • 著者名/発表者名
      Higashinaka Ryuichiro、Minato Takashi、Sakai Kurima、Funayama Tomo、Nishizaki Hiromitsu、Nagai Takayuki
    • 雑誌名

      Proceedings of the IEEE 11th global conference on consumer electronics

      巻: - ページ: 357-360

    • DOI

      10.1109/gcce56475.2022.10014410

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Overview of Dialogue Robot Competition 20222022

    • 著者名/発表者名
      Takashi Minato, Ryuichiro Higashinaka, Kurima Sakai, Tomo Funayama, Hiromitsu Nishizaki, Takayuki Nagai
    • 雑誌名

      arXiv:2210.12863 [cs.RO]

      ページ: 1-6

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] Collection and Analysis of Travel Agency Task Dialogues with Age-Diverse Speakers2022

    • 著者名/発表者名
      Michimasa Inaba, Yuya Chiba, Ryuichiro Higashinaka, Kazunori Komatani, Yusuke Miyao, Takayuki Nagai
    • 雑誌名

      Proceedings of the Thirteenth Language Resources and Evaluation Conference

      ページ: 5759-5767

    • NAID

      130008119213

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] 視覚刺激に対する情動反応と自己評価尺度の解析2022

    • 著者名/発表者名
      弦牧 和輝, 早舩 晃希, 大森 一祥, 日永田 智絵, 長井 隆行
    • 学会等名
      人工知能学会全国大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] マルチモーダル対話ロボットの実現を目指して2022

    • 著者名/発表者名
      長井隆行
    • 学会等名
      人工知能学会全国大会
    • 関連する報告書
      2022 実績報告書
    • 招待講演
  • [図書] 認知科学講座1 心と身体2022

    • 著者名/発表者名
      長井隆行(分担執筆)
    • 総ページ数
      288
    • 出版者
      東京大学出版会
    • ISBN
      9784130152013
    • 関連する報告書
      2022 実績報告書
  • [図書] コグニティブインタラクション2022

    • 著者名/発表者名
      長井隆行(分担執筆)
    • 総ページ数
      280
    • 出版者
      オーム社
    • ISBN
      4274228894
    • 関連する報告書
      2022 実績報告書

URL: 

公開日: 2022-04-19   更新日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi