• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2022 Fiscal Year Annual Research Report

人と社会的に共生する対話システムのための行動決定モデル基盤技術の確立

Planned Research

Project AreaStudies on intelligent systems for dialogue toward the human-machine symbiotic society
Project/Area Number 19H05693
Research InstitutionNTT Communication Science Laboratories

Principal Investigator

杉山 弘晃  日本電信電話株式会社NTTコミュニケーション科学基礎研究所, 協創情報研究部, 主任研究員 (30742283)

Co-Investigator(Kenkyū-buntansha) 石黒 浩  大阪大学, 大学院基礎工学研究科, 教授 (10232282)
中村 泰  国立研究開発法人理化学研究所, 情報統合本部, チームリーダー (70403334)
前田 英作  東京電機大学, システムデザイン工学部, 教授 (90396143)
Project Period (FY) 2019-06-28 – 2024-03-31
Keywords大規模対話モデル / 話者モデル化 / 関係構築
Outline of Annual Research Achievements

A03班では,人と長期間にわたり共生し自然に対話し続けるために不可欠な,課題A: システム自身の行動を決定するモデルの構築,課題B: ユーザの行動決定モデルの推定,課題C; 周囲の人間関係の理解に取り組んでいる.
課題Aについては,システムが置かれた状況に応じた応答を行うモデルの一つとして,時間情報に基づく応答生成に関する研究を行った.従来のシステムは時間帯や季節などの情報を考慮せず発話を生成しているものがほとんどであるため,しばしば時間的に不自然な発話を生成してしまう問題がある.Twitterデータに付与されている,ツイートされた時間情報を利用して大規模対話モデルの事前学習を行うことで,時間的な自然さの評価が可能であることを確認している.また,言語的な行動以外にも,対話ロボットのマルチモーダルな表出についての研究も進めている.
課題Bについて,特定話者の対話パターンのモデル化について取り組んでいる.従来の話者のモデル化研究は,少数のプロフィールを表す文で話者を表現し,それらの文に表層的に矛盾しない発話を生成することに重きが置かれていた.しかしながら,特定のユーザの振る舞いを予測するには,そうした粗いモデル化では不十分である.我々は,各話者を話者空間に埋め込みつつ,その話者埋め込み表現に紐づけて各話者の応答パターンを学習することで,表層的な表現のみならず応答として特定の話者らしい発話の生成を目指している.加えて,対話を通した相手話者の選好の推定など,オンザフライでユーザの話者性を推定する取り組みも進めている.
課題Cについて,人同士が長期間対話し続けるデータや,4人が組となってしばらく対話し続けるデータを取得し,人間関係がどのように醸成されていくのかについて調査している.合わせて,長期間対話し続けるシステムのプロトタイプを構築し,課題の分析にも取り組んでいる.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

課題Aの「システム自身の行動を決定するモデルの構築」について,基盤となる大規模言語モデル・対話モデルを構築するとともに,時間情報や周辺の画像情報に基づく発話生成等,より具体的・実際的な設定での研究を進められており,課題Aの研究目的の達成に対して着実に研究を遂行できている.
課題Bの「ユーザの行動決定モデルの推定」について,引き続き対話を通した相手話者の選好推定に関する研究,および特定個人の話者モデル化・評価尺度の高精度化を進めている.ユーザのシンプルな選好に加え,大規模対話モデルを利用することで,考え方やより複雑な条件を含む嗜好などの推定・再現を実現できつつある.
課題Cの「周囲の人間関係の理解」について,人間同士が長期間対話した際の関係性の変化についての分析を進めている.また複数人対話の中の2者間ごとの関係性の分析や,人間関係を踏まえた対話を実現するための取り組みも並行して進めており,複数人の人間関係に基づく対話生成の土台ができつつある.

Strategy for Future Research Activity

現在,ChatGPTを始めとする大規模言語モデルの性能が極めて急速に進展している.特に,実用的な文書の読解やQAタスク等については,誤った情報を生成しうるhallucination errorの問題は残っているものの,人がチェックする前提であれば,十分実用レベルに達しつつある.一方で,本研究課題で扱っている,話者の個人性のモデル化や実世界の状況を踏まえた応答生成,人とシステムとの関係構築などは未だ取り組みが十分には進んでいない領域であり,世界的に見ても先行できている.
課題Aの「システム自身の行動を決定するモデルの構築」について,タスク対話の領域ではAutoGPT等の自己判断型タスク達成システムの検討が進められており,この技術を雑談対話の領域に適用することを検討している.この技術により,システム自身の判断に基づいてシステム自身の価値観をアップデートし続ける枠組みを開発する.
課題Bの「ユーザの行動決定モデルの推定」について,現在はユーザのシンプルな嗜好の推定を実現しているが,今年度はより詳細かつ複雑な,考え方や価値観の推定に取り組んでいく.特に,多数の特定個人のモデル化に取り組む.
課題Cの「周囲の人間関係の理解」について,現在は人間同士が長期間対話した際の関係性の分析を進めているが,人間同士の振る舞い(特に非同期の対話における発話間の間)を再現し対話するシステムを構築し,システムと人の違いについて明らかにするとともに,人の集団においてそれぞれと関係構築可能なシステムの実現を目指す.

  • Research Products

    (29 results)

All 2023 2022

All Journal Article (8 results) Presentation (20 results) (of which Int'l Joint Research: 8 results,  Invited: 1 results) Book (1 results)

  • [Journal Article] Dissociable Neural Mechanisms for Human Inference Processing Predicted by Static and Contextual Language Models2023

    • Author(s)
      Uchida Takahisa、Lair Nicolas、Ishiguro Hiroshi、Dominey Peter Ford
    • Journal Title

      Neurobiology of Language

      Pages: 1~16

    • DOI

      10.1162/nol_a_00090

  • [Journal Article] 対話中の振る舞い予測のための時間的整合性に注目した自己教師あり学習2022

    • Author(s)
      岡留 有哉, 阿多 健史郎, 石黒 浩, 中村 泰
    • Journal Title

      人工知能学会論文誌

      Volume: 37(6) Pages: 1-13

    • DOI

      10.1527/tjsai.37-6_B-M43

  • [Journal Article] 離れて暮らす親世代と子世代か?ゆるやかにつなか?るための見守りサーヒ?スの社会実装と検証2022

    • Author(s)
      冨永善視, 田中秀樹, 松原仁, 石黒浩, 小川浩平
    • Journal Title

      情報処理学会論文誌デジタルプラクティス

      Volume: 3(2) Pages: 1-13

  • [Journal Article] Playful Recommendation: Sales Promotion That Robots Stimulate Pleasant Feelings Instead of Product Explanation2022

    • Author(s)
      Takuya Iwamoto,Jun Baba,Junya Nakanishi, Katsuya Hyodo,Yuichiro Yoshikawa, Hiroshi Ishiguro
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 7(4) Pages: 11815 - 11822

    • DOI

      10.1109/LRA.2022.3189149

  • [Journal Article] 他者視点取得の誘発による人間同士の関係構築促進:3者対話におけるロボットの対話戦略2022

    • Author(s)
      内田貴久,船山智,境くりま,港隆史,石黒浩
    • Journal Title

      ヒューマンインタフェース学会論文誌

      Volume: 3 Pages: 167-180

    • DOI

      10.11184/his.24.3_167

  • [Journal Article] Embodiment in Dialogue: Daily Dialogue Android Based on Multimodal Information2022

    • Author(s)
      Takahisa Uchida, Takashi Minato, and Hiroshi Ishiguro
    • Journal Title

      IOP Conference Series: Materials Science and Engineering

      Volume: 1261(1) Pages: 012016

    • DOI

      10.1088/1757-899X/1261/1/012016

  • [Journal Article] A Dialogue System That Models User Opinions Based on Information Content2022

    • Author(s)
      Yoshiki Ohira, Takahisa Uchida, Takashi Minato, Hiroshi Ishiguro
    • Journal Title

      Multimodal Technologies and Interaction

      Volume: 6(10) Pages: 91

    • DOI

      10.3390/mti6100091

  • [Journal Article] 運転中の風景を話題とする深層学習ベース雑談システムのための対話データ収集と対話内容の分析2022

    • Author(s)
      古賀 光, 西島 敏文, 杉山 弘晃
    • Journal Title

      自動車技術会論文集

      Volume: 53(6) Pages: 1134-1139

    • DOI

      10.11351/jsaeronbun.53.1134

  • [Presentation] A Pilot Study on Preference Estimation Function of Large-Scale Language Model for Hospitality Avatars2023

    • Author(s)
      Takahisa Uchida, Yuki Sakamoto, Akimoto Koshino, Midori Ban, Yuichiro Yoshikawa and Hiroshi Ishiguro
    • Organizer
      2nd Symbiotic Society with Avatars (SSA) workshop at the 2023 ACM/IEEE International Conference on Human-Robot Interaction (HRI’23)
    • Int'l Joint Research
  • [Presentation] 猫かぶり対話ロボットの知識レベル制御2023

    • Author(s)
      北林悠太, 河窪大介, 酒造正樹, 前田英作
    • Organizer
      HAIシンポジウム 2023
  • [Presentation] BERTによる非構造化情報を含む外部データからのテキスト生成用補足知識の抽出2023

    • Author(s)
      金田龍平,芳賀大地,杉山弘晃,酒造正樹,前田英作
    • Organizer
      2022年度 人工知能学会全国大会(第36回)
  • [Presentation] ニューラル生成文に含まれる事実不整合の検出と修正2023

    • Author(s)
      森脇恵太,大野 瞬,杉山弘晃,酒造正樹,前田英作
    • Organizer
      2022年度 人工知能学会全国大会(第36回)
  • [Presentation] 共生社会におけるアンドロイドロボットのためのマルチモーダル対話戦略の構築2023

    • Author(s)
      河本真琴,河窪大介,杉山弘晃,酒造正樹,前田英作
    • Organizer
      2022年度 人工知能学会全国大会(第36回)
  • [Presentation] Empirical Analysis of Training Strategies of Transformer-based Japanese Chit-chat Systems2023

    • Author(s)
      Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, Toyomi Meguro
    • Organizer
      Spoken Language Technology Workshop
    • Int'l Joint Research
  • [Presentation] 人物埋め込み空間の内挿性と制御性を兼ね備えた応答生成モデル2023

    • Author(s)
      安川浩貴, 水上雅博, 品川政太朗, 杉山弘晃, 須藤克仁, 中村哲
    • Organizer
      第97回言語・音声理解と対話処理研究会
  • [Presentation] Modeling a dyadic interaction using a deep neural network2022

    • Author(s)
      Yutaka Nakamura
    • Organizer
      IROS 2022 workshop: (intellect4hri)
    • Invited
  • [Presentation] 対話中のユーザ間同調動作のニューラルネットワークを用いた特徴抽出に関する検討2022

    • Author(s)
      岡留 有哉, 中村 泰
    • Organizer
      第40回 日本ロボット学会学術講演会(RSJ2022)
  • [Presentation] A robot that is always ready for safe physical interactions2022

    • Author(s)
      Huthaifa Ahmad, Yutaka Nakamura
    • Organizer
      Interdisciplinary Conference on Mechanics, Computers and Electrics (ICMECE 2022)
    • Int'l Joint Research
  • [Presentation] ショッピングモールにおいて人間-アイテム間の知識を獲得する自律対話アンドロイド2022

    • Author(s)
      坂本有紀、内田貴久、石黒浩
    • Organizer
      人工知能学会全国大会(第36回)
  • [Presentation] ユーザをモデル化するための社会モデルを用いた意見対話システム2022

    • Author(s)
      大平義輝, 内田貴久, 港隆史, 石黒浩
    • Organizer
      人工知能学会全国大会(第36回)
  • [Presentation] An Autonomous Conversational Android that Acquires Human?Item Co-Occurrence in the Real World2022

    • Author(s)
      Yuki Sakamoto, Takahisa Uchida, Hiroshi Ishiguro
    • Organizer
      31st IEEE International Conference on Robot & Human Interactive Communication
    • Int'l Joint Research
  • [Presentation] 即効性のある代替案の提供で友人に謝罪を行うマルチモーダル対話エージェント2022

    • Author(s)
      大野瞬, 石井均, 木原諒子, 片上大輔, 酒造正樹, 前田英作
    • Organizer
      第13回対話システムシンポジウム
  • [Presentation] Improving User's Sense of Participation in Robot-Driven Dialogue2022

    • Author(s)
      M. Kawamoto, M. Shuzo, E. Maeda
    • Organizer
      IROS2022 The Dialogue Robot Competition (DRC) 2022
    • Int'l Joint Research
  • [Presentation] Spoken Dialogue Strategy Focusing on Asymmetric Communication with Android Robots2022

    • Author(s)
      D. Kawakubo, H. Ishii, R. Okazawa, S. Nishizawa,H. Hatakeyama, H. Sugiyama, M. Shuzo,E. Maeda
    • Organizer
      IROS2022 The Dialogue Robot Competition (DRC) 2022
    • Int'l Joint Research
  • [Presentation] 猫かぶり対話システムの検討2022

    • Author(s)
      酒造正樹, 皆川哲範, 前田英作
    • Organizer
      2022年度 人工知能学会全国大会(第36回)
  • [Presentation] Bipartite-play Dialogue Collection for Versatile and Practical Automatic Dialogues Evaluation2022

    • Author(s)
      Shiki Sato, Yosuke Kishinami, Reina Akama, Ryoko Tokuhisa, Jun Suzuki, Hiroaki Sugiyama
    • Organizer
      AACL Student Research Workshop
    • Int'l Joint Research
  • [Presentation] 時間に応じて自然性が変化する発話対の抽出と時間変化する自然性を考慮した対話モデルの提案2022

    • Author(s)
      角森唯子, 杉山弘晃, 石畠正和
    • Organizer
      ヒューマンコンピュータインタラクション研究会
  • [Presentation] Direct speech dialogue generation from text dialogue history2022

    • Author(s)
      Kenichi Fujita, Hiroaki Sugiyama, Yusuke Ijima
    • Organizer
      2022 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC)
    • Int'l Joint Research
  • [Book] 続々・わかりやすいパターン認識2022

    • Author(s)
      石井 健一郎、前田 英作
    • Total Pages
      304
    • Publisher
      オーム社
    • ISBN
      978-4-274-22947-3

URL: 

Published: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi