• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Dialogue management and response expressions in behavior change dialogue considering long-term relationships with users

Publicly Offered Research

Project AreaStudies on intelligent systems for dialogue toward the human-machine symbiotic society
Project/Area Number 22H04873
Research Category

Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)

Allocation TypeSingle-year Grants
Review Section Complex systems
Research InstitutionInstitute of Physical and Chemical Research

Principal Investigator

吉野 幸一郎  国立研究開発法人理化学研究所, 情報統合本部, チームリーダー (70760148)

Project Period (FY) 2022-04-01 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥11,830,000 (Direct Cost: ¥9,100,000、Indirect Cost: ¥2,730,000)
Fiscal Year 2023: ¥5,850,000 (Direct Cost: ¥4,500,000、Indirect Cost: ¥1,350,000)
Fiscal Year 2022: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000)
Keywords対話システム / 自然言語処理 / 大規模言語モデル / エントレインメント / RAG / 言語生成 / 対話 / 行動変容 / 対話制御 / 推論 / 状況認識 / 説得対話 / マルチモーダル / 音声対話 / フェイスアクト / 音声言語処理 / 応答生成 / 行動生成 / ロボット対話
Outline of Research at the Start

ユーザの行動変容を促す対話システムにおいて、ユーザとの長期的な関係を考慮する。ユーザに長く使われる対話システムを実現するという観点からは、ユーザの周囲の状況を注意深く観察し、ユーザにとって真に必要な行動変容目標を決定し、その行動変容目標に応じて対話戦略や応答表現の最適化を行う必要がある。そこで、対話システムが「状況や対話の文脈に応じた適切な説得目標を立てることができるか」「説得効率だけでなく長期的なユーザとの関係を考慮した対話戦略を取る説得対話システムを構築することができるか」「決まった戦略とユーザの選好を考慮した応答表現の適応ができるか」に焦点を置いた研究開発を行う。

Outline of Annual Research Achievements

対話においてユーザとの長期的な関係を考慮することが本研究の目的である。行動変容対話は、ユーザが持つ目標に向かって対話を進めるようなこれまでの多くのタスク達成型対話システムとは対照的な対話の最適化目標を持つもので、どのような対話の戦略や対話システムの振る舞い・応答表現が必要かという点も大きく異なることが知られている。こうした対話戦略や応答表現の利用は、短期的なユーザの行動変容を目的とする研究がほとんどで、長期的な関係を考慮した研究においては未だ多くの課題が残っている。特に行動変容対話を目標とするシステムで、ユーザとの関係を構築し長く使われる対話システムを実現するという観点からは、ユーザの周囲の状況を注意深く観察し、ユーザの状況に合わせた対話の適応を行う必要がある。また、行動変容対話に限らず、ユーザに対する対話システムのパーソナライゼーションという観点からは、過去の対話履歴や周囲の状況からいかに対話をカスタマイズするかも重要である。そこで本年度においては、「長期的なユーザとの関係を考慮した対話」を実現・評価した。また、どの程度システムの対話に対して満足しているかの主観評価指標も用いることで、ユーザからのシステムに対する納得感なども評価した。
具体的には、例えば対話システムにフレンドリーでいて欲しいと考えるユーザに対してはより砕けた表現をすることが好ましい。逆にフォーマルでいて欲しいと考えるユーザには丁寧な表現を行うことが望ましい。また、一般にはある程度相手の発話内容に同調した応答を返すことが、ユーザからの親密度を上げるということが知られている(エントレインメント現象)。そこで、これらを包含する概念としてアコモデーション理論[Giles07]を活用し、ポライトネスの観点からユーザ適応された言語生成システムを構築し評価した。

Research Progress Status

令和5年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和5年度が最終年度であるため、記入しない。

Report

(2 results)
  • 2023 Annual Research Report
  • 2022 Annual Research Report
  • Research Products

    (44 results)

All 2024 2023 2022 Other

All Int'l Joint Research (6 results) Journal Article (10 results) (of which Int'l Joint Research: 3 results,  Peer Reviewed: 10 results,  Open Access: 9 results) Presentation (27 results) (of which Int'l Joint Research: 12 results) Funded Workshop (1 results)

  • [Int'l Joint Research] University of Southern California/Meta Inc./Amazon.com Inc.(米国)

    • Related Report
      2023 Annual Research Report
  • [Int'l Joint Research] Universidad Politecnica de Madrid(スペイン)

    • Related Report
      2023 Annual Research Report
  • [Int'l Joint Research] 国立台湾大学(その他の国・地域)

    • Related Report
      2023 Annual Research Report
  • [Int'l Joint Research] Chinese Academy of Sciences/Tencent AI/Chinese University of Hong Kong(中国)

    • Related Report
      2023 Annual Research Report
  • [Int'l Joint Research] National University of Singapore/Nanyang Technological University(シンガポール)

    • Related Report
      2023 Annual Research Report
  • [Int'l Joint Research]

    • Related Report
      2023 Annual Research Report
  • [Journal Article] Overview of the Tenth Dialog System Technology Challenge: DSTC102024

    • Author(s)
      Koichiro Yoshino et al.,
    • Journal Title

      IEEE/ACM Transactions on Audio, Speech, and Language Processing

      Volume: 32 Pages: 765-778

    • DOI

      10.1109/taslp.2023.3293030

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Toward building dialogue system deepening knowledges on past dialogue: a corpus study and analysis2024

    • Author(s)
      Kanta Watanabe, Seiya Kawano, Akishige Yuguchi, Koichiro Yoshino.
    • Journal Title

      In Proceedings of International Workshop on Spoken Dialogue Systems Technology (IWSDS) 2024

      Volume: 7 Pages: 1-14

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Examining the Impact of a Forgetful Multi-store Memory System in a Cognitive Assistive Robot2024

    • Author(s)
      Angel Garcia Contreras, Seiya Kawano, Yasutomo Kawanishi, Yutaka Nakamura, Saito Satoru, Koichiro Yoshino
    • Journal Title

      In Proceedings of International Workshop on Spoken Dialogue Systems Technology (IWSDS) 2024

      Volume: 9 Pages: 1-14

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Investigation of the Influence of Different Entrainment Metrics/Strategies on Subjective Evaluation in Re-ranking Dialogue Systems2024

    • Author(s)
      Shota Kanezaki, Seiya Kawano, Akishige Yuguchi, Marie Katsurai, Koichiro Yoshino
    • Journal Title

      In Proceedings of International Workshop on Spoken Dialogue Systems Technology (IWSDS) 2024

      Volume: 15 Pages: 1-14

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Data Augmentation for Robust Natural Language Generation Based on Phrase Alignment and Sentence Structure2024

    • Author(s)
      Kenta Yamamoto, Seiya Kawano, Tatsuya Kawahara, Koichiro Yoshino
    • Journal Title

      In Proceedings of International Workshop on Spoken Dialogue Systems Technology (IWSDS) 2024

      Volume: 38 Pages: 1-14

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] End-to-end dialogue structure parsing on multi-floor dialogue based on multi-task learning2023

    • Author(s)
      Seiya Kawano, Koichiro Yoshino, David Traum, Satoshi Nakamura
    • Journal Title

      Frontiers in Robotics and AI

      Volume: 10 Pages: 1-15

    • DOI

      10.3389/frobt.2023.949600

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Analysis of Style-Shifting on Social Media: Using Neural Language Model Conditioned by Social Meanings2023

    • Author(s)
      Kawano Seiya、Kanezaki Shota、Garcia Contreras Angel Fernando、Yuguchi Akishige、Katsurai Marie、Yoshino Koichiro
    • Journal Title

      In Proceedings of The 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP) findings

      Volume: 1 Pages: 7911-7921

    • DOI

      10.18653/v1/2023.findings-emnlp.531

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] What’s New? Identifying the Unfolding of New Events in a Narrative2023

    • Author(s)
      Mousavi Seyed Mahed、Tanaka Shohei、Roccabruna Gabriel、Yoshino Koichiro、Nakamura Satoshi、Riccardi Giuseppe
    • Journal Title

      In Proceedings of Annual Meeting of the Association for Computational Linguistics (ACL2023) 5th Workshop of Narrative Understanding

      Volume: 1 Pages: 1-10

    • DOI

      10.18653/v1/2023.wnu-1.1

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Multimodal Persuasive Dialogue Corpus using Teleoperated Android2023

    • Author(s)
      Seiya Kawano, Muteki Arioka, Akishige Yuguchi, Kenta Yamamoto, Koji Inoue, Tatsuya Kawahara, Satoshi Nakamura and Koichiro Yoshino
    • Journal Title

      In Proceedings of INTERSPEECH2022

      Volume: -

    • DOI

      10.21437/interspeech.2022-565

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Analysis of Face Acts in Japanese Multimodal Persuasive Dialogue Corpus2022

    • Author(s)
      Seiya Kawano, Hideko Habe, Akishige Yuguchi and Koichiro Yoshino.
    • Journal Title

      Proceedings of International Workshop on Spoken Dialogue Systems Technology (IWSDS) 2023

      Volume: - Pages: 2308-2312

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Presentation] Toward building dialogue system deepening knowledges on past dialogue: a corpus study and analysis2024

    • Author(s)
      Kanta Watanabe, Seiya Kawano, Akishige Yuguchi, Koichiro Yoshino.
    • Organizer
      International Workshop on Spoken Dialogue Systems Technology (IWSDS) 2024
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Examining the Impact of a Forgetful Multi-store Memory System in a Cognitive Assistive Robot2024

    • Author(s)
      Angel Garcia Contreras, Seiya Kawano, Yasutomo Kawanishi, Yutaka Nakamura, Saito Satoru, Koichiro Yoshino
    • Organizer
      International Workshop on Spoken Dialogue Systems Technology (IWSDS) 2024
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Investigation of the Influence of Different Entrainment Metrics/Strategies on Subjective Evaluation in Re-ranking Dialogue Systems2024

    • Author(s)
      Shota Kanezaki, Seiya Kawano, Akishige Yuguchi, Marie Katsurai, Koichiro Yoshino
    • Organizer
      International Workshop on Spoken Dialogue Systems Technology (IWSDS) 2024
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Data Augmentation for Robust Natural Language Generation Based on Phrase Alignment and Sentence Structure2024

    • Author(s)
      Kenta Yamamoto, Seiya Kawano, Tatsuya Kawahara, Koichiro Yoshino
    • Organizer
      International Workshop on Spoken Dialogue Systems Technology (IWSDS) 2024
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Visual Question Answering における視線情報を用いた質問の曖昧性解消2024

    • Author(s)
      稲積 駿, 河野 誠也, 湯口 彰重, 川西 康友, 吉野 幸一郎
    • Organizer
      言語処理学会第30回年次大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 実世界対話におけるフレーズグラウンディングモデルの評価と分析2024

    • Author(s)
      植田 暢大, 波部 英子, 松井 陽子, 湯口 彰重, 河野 誠也, 川西 康友, 黒橋 禎夫, 吉野 幸一郎
    • Organizer
      言語処理学会第30回年次大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Forgetful Multi-store Memory System for a Cognitive Assistive Robot2024

    • Author(s)
      Angel Fernando Garcia Contreras, 河野 誠也, 川西 康友, 中村 泰, 齊藤 智, 吉野 幸一郎
    • Organizer
      言語処理学会第30回年次大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] エントレインメント尺度および戦略が対話システムの評価に与える影響の調査2024

    • Author(s)
      金崎 翔大, 河野 誠也, 湯口 彰重, 桂井 麻里衣, 吉野 幸一郎
    • Organizer
      言語処理学会第30回年次大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] ペルソナ対話システムにおけるペルソナ選択と応答生成2024

    • Author(s)
      吉田 快, 吉野 幸一郎, 品川 政太朗, 須藤 克仁, 中村 哲
    • Organizer
      言語処理学会第30回年次大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 過去対話セッションからの想起と深化を行う対話モデル2024

    • Author(s)
      渡邉 寛大, 河野 誠也, 湯口 彰重, 吉野 幸一郎
    • Organizer
      言語処理学会第30回年次大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Analysis of Style-Shifting on Social Media: Using Neural Language Model Conditioned by Social Meanings2023

    • Author(s)
      Seiya Kawano, Shota Kanezaki, Angel Fernando Garcia Contreras, Akishige Yuguchi, Marie Katsurai, Koichiro Yoshino
    • Organizer
      The 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP) findings
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] “Whats New? Identifying the Unfolding of New Events in Narratives2023

    • Author(s)
      Seyed Mahed Mousavi, Shohei Tanaka, Gabriel Roccabruna, Koichiro Yoshino, Satoshi Nakamura, Giuseppe Riccardi
    • Organizer
      Annual Meeting of the Association for Computational Linguistics (ACL2023) 5th Workshop of Narrative Understanding
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Designing a Forgetful and Expressive Multi-store Memory System for Cognitive Robot2023

    • Author(s)
      Angel F. Garcia Contreras, Seiya Kawano, Yasutomo Kawanishi, Akishige Yuguchi, Koichiro Yoshino
    • Organizer
      Seventh International Workshop on Symbolic-Neural Learning (SNL2023)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Persona Updating and Persona Selection in Persona Dialogue Systems2023

    • Author(s)
      Kai Yoshida, Koichiro Yoshino, Seitaro Shinagawa, Katsuhito Sudoh and Satoshi Nakamura
    • Organizer
      Seventh International Workshop on Symbolic-Neural Learning (SNL2023)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Toward Building Dialogue System that can Reacall and Deepen Knowledge through Experience2023

    • Author(s)
      Kanta Watanabe, Seiya Kawano, Akishige Yuguchi and Koichiro Yoshino
    • Organizer
      Seventh International Workshop on Symbolic-Neural Learning (SNL2023)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Question Disambiguation Using Eye-gaze Context.2023

    • Author(s)
      Shun Inadumi, Seiya Kawano, Akishige Yuguchi, Yasutomo Kawanishi and Koichiro Yoshino
    • Organizer
      Seventh International Workshop on Symbolic-Neural Learning (SNL2023)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 視覚的質問応答における視線情報を用いた質問の明確化2023

    • Author(s)
      稲積 駿, 河野 誠也, 湯口 彰重, 川西 康友, 吉野 幸一郎
    • Organizer
      人工知能学会言語・音声理解と対話処理研究会(第99回)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 経験に基づく知識の想起と深化を伴う対話システム2023

    • Author(s)
      渡邉 寛大, 河野 誠也, 湯口 彰重, 吉野 幸一郎.
    • Organizer
      人工知能学会言語・音声理解と対話処理研究会(第99回)
    • Related Report
      2023 Annual Research Report
  • [Presentation] その研究ChatGPTでいいんじゃないですか?~LLM時代の対話システム研究~2023

    • Author(s)
      吉野 幸一郎
    • Organizer
      NLP若手の会シンポジウム
    • Related Report
      2023 Annual Research Report
  • [Presentation] ニューラル言語モデルのサプライザルに基づいた会話におけるスタイルシフトの評価2023

    • Author(s)
      河野 誠也, 金崎 翔太, Angel Garcia Contreras, 湯口 彰重, 桂井 麻里衣, 吉野 幸一郎
    • Organizer
      NLP若手の会シンポジウム
    • Related Report
      2023 Annual Research Report
  • [Presentation] 経験に基づく知識の想起と深化を伴う対話システムの構築に向けて2023

    • Author(s)
      渡邉 寛大, 河野 誠也, 湯口 彰重, 吉野 幸一郎
    • Organizer
      NLP若手の会シンポジウム
    • Related Report
      2023 Annual Research Report
  • [Presentation] Analysis of Face Acts in Japanese Multimodal Persuasive Dialogue Corpus2023

    • Author(s)
      Seiya Kawano, Hideko Habe, Akishige Yuguchi and Koichiro Yoshino.
    • Organizer
      International Workshop on Spoken Dialogue Systems Technology (IWSDS) 2023
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 視覚的質問応答における視線情報を利用した曖昧性解消に向けて2023

    • Author(s)
      稲積 駿, 河野 誠也, 湯口 彰重, 川西 康友, 吉野 幸一郎
    • Organizer
      言語処理学会第27回年次大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 経験に基づく知識の想起・深化を行う対話システムの開発に向けたコーパスの構築2023

    • Author(s)
      渡邉 寛大, 河野 誠也, 湯口 彰重, 吉野 幸一郎
    • Organizer
      言語処理学会第27回年次大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] Multimodal Persuasive Dialogue Corpus using Teleoperated Android2022

    • Author(s)
      Seiya Kawano, Muteki Arioka, Akishige Yuguchi, Kenta Yamamoto, Koji Inoue, Tatsuya Kawahara, Satoshi Nakamura and Koichiro Yoshino
    • Organizer
      INTERSPEECH 2022
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 視線情報付き視覚的質問応答データセットの構築2022

    • Author(s)
      稲積 駿, 河野 誠也, 湯口 彰重, 川西 康友, 吉野 幸一郎
    • Organizer
      人工知能学会言語・音声理解と対話処理研究会(第93回)(SIG-SLUD)
    • Related Report
      2022 Annual Research Report
  • [Presentation] 対話行為予測とエントレインメント予測に基づいたマルチモーダル対話システム2022

    • Author(s)
      金崎 翔太, 渡邉 寛大, 河野 誠也, 湯口 彰重, 桂井 麻里衣, 吉野 幸一郎
    • Organizer
      人工知能学会言語・音声理解と対話処理研究会(第93回)(SIG-SLUD)
    • Related Report
      2022 Annual Research Report
  • [Funded Workshop] The 14th International Workshop on Spoken Dialogue Systems Technology2024

    • Related Report
      2023 Annual Research Report

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi