• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Multimodal Dialogue Robot for Changing User Behaviors through Conversation

Publicly Offered Research

Project AreaStudies on intelligent systems for dialogue toward the human-machine symbiotic society
Project/Area Number 20H05567
Research Category

Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)

Allocation TypeSingle-year Grants
Review Section Complex systems
Research InstitutionInstitute of Physical and Chemical Research

Principal Investigator

吉野 幸一郎  国立研究開発法人理化学研究所, 科技ハブ産連本部, チームリーダー (70760148)

Project Period (FY) 2020-04-01 – 2022-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥11,700,000 (Direct Cost: ¥9,000,000、Indirect Cost: ¥2,700,000)
Fiscal Year 2021: ¥5,850,000 (Direct Cost: ¥4,500,000、Indirect Cost: ¥1,350,000)
Fiscal Year 2020: ¥5,850,000 (Direct Cost: ¥4,500,000、Indirect Cost: ¥1,350,000)
Keywords対話システム / 行動変容 / マルチモーダル / 対話制御 / 感情 / 音声対話 / マルチモーダル情報 / 強化学習 / 対話ロボット
Outline of Research at the Start

言語・非言語によるインタラクションを通じて、設定した目標に向かってユーザの行動変容を促すことができる対話システム・対話ロボットの構築を目指す。対話を通じてユーザに行動変容を促す場合、その手段として論理的な説得、嘘情報の利用・曝露、感情状態の利用などが存在する。これらの行動を、ロボットが用いる感情音声、ジェスチャーなども含めて様々な条件で精査し、より効率的にユーザの行動変容を促すことができる対話戦略を構築する。また、マルチモーダル情報の効率的な利用と、システムの意図に合わせた発話・応答生成技術についても研究開発を行う。

Outline of Annual Research Achievements

本研究課題「ユーザに行動変容を促すマルチモーダル対話ロボットの研究」では、対話を通じて相手に行動変容を促す「説得対話」についての研究を進めてきた。今年度は特に計画班の京大と連携し、アンドロイドERICAを用いた遠隔操作によるマルチモーダル説得対話コーパスの構築を行った。特に、コーパスにおける説得に対するユーザの振る舞いと、実際のユーザの行動変容度合いの関係については興味深い知見が得られた。また、このコーパスを用いて実際に説得対話を行う対話システムを構築し、ユーザ評価を行った。このユーザ評価では遠隔操作のシステムパフォーマンスに対してまだギャップが存在するものの、いくつか説得に成功するケースも見られた。
行動変容対話の成功にはいくつか尺度が考えられるが、これらはこれまで厳密に議論されてこなかった。本研究では成功の尺度を、意識の変容、行動の変容、見かけ上の成否の3種類として定義し用いた。意識の変容は、対話直後の事後調査で行動変容をしようと思うと答えた割合であり、行動変容は追跡調査で実際に行動を変容した人の割合である。見かけ上の成否は、対話上説得に同意して対話を終わった人の割合である。これら3つを見ると、多くの被験者が見かけ上は説得に合意するものの、実際に行動の変容まで移す人はその半分程度であることが明らかになった。また、今回収集したデータを学習データとして、実際に説得対話システムを構築した。このシステムで対話実験を行い、実際にどの程度行動変容を引き起こすことができたかを見ると、意識の変容は多くのケースで起こっていることが確認できた。

Research Progress Status

令和3年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和3年度が最終年度であるため、記入しない。

Report

(2 results)
  • 2021 Annual Research Report
  • 2020 Annual Research Report
  • Research Products

    (30 results)

All 2022 2021 2020

All Journal Article (5 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 5 results,  Open Access: 4 results) Presentation (24 results) (of which Int'l Joint Research: 6 results,  Invited: 5 results) Book (1 results)

  • [Journal Article] Controlled Neural Response Generation by Given Dialogue Acts Based on Label-aware Adversarial Learning2021

    • Author(s)
      Kawano Seiya、Yoshino Koichiro、Nakamura Satoshi
    • Journal Title

      Transactions of the Japanese Society for Artificial Intelligence

      Volume: 36 Issue: 4 Pages: E-KC9_1-14

    • DOI

      10.1527/tjsai.36-4_E-KC9

    • NAID

      130008060604

    • ISSN
      1346-0714, 1346-8030
    • Year and Date
      2021-07-01
    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Relationship Between Coherence of Sequential Events and Dialogue Continuity in Conversational Response2021

    • Author(s)
      Tanaka Shohei、Yoshino Koichiro、Sudoh Katsuhito、Nakamura Satoshi
    • Journal Title

      Journal of Natural Language Processing

      Volume: 28 Issue: 1 Pages: 26-59

    • DOI

      10.5715/jnlp.28.26

    • NAID

      130007998388

    • ISSN
      1340-7619, 2185-8314
    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Policy Reuse for Dialog Management Using Action-Relation Probability2020

    • Author(s)
      Nguyen Tung T.、Yoshino Koichiro、Sakti Sakriani、Nakamura Satoshi
    • Journal Title

      IEEE Access

      Volume: 8 Pages: 159639-159649

    • DOI

      10.1109/access.2020.3017780

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Overview of the seventh Dialog System Technology Challenge: DSTC72020

    • Author(s)
      D’Haro Luis Fernando、Yoshino Koichiro、Hori Chiori、Marks Tim K.、Polymenakos Lazaros、Kummerfeld Jonathan K.、Galley Michel、Gao Xiang
    • Journal Title

      Computer Speech & Language

      Volume: 62 Pages: 101068-101068

    • DOI

      10.1016/j.csl.2020.101068

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Entrainable Neural Conversation Model Based on Reinforcement Learning2020

    • Author(s)
      Kawano Seiya、Mizukami Masahiro、Yoshino Koichiro、Nakamura Satoshi
    • Journal Title

      IEEE Access

      Volume: 8 Pages: 178283-178294

    • DOI

      10.1109/access.2020.3027099

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] 曖昧なユーザ要求に対する因果関係知識を用いた気の利いたシステム行動の選択2022

    • Author(s)
      田中 翔平, 吉野 幸一郎, 須藤 克仁, 中村 哲
    • Organizer
      言語処理学会第26回年次大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 遠隔操作アンドロイドを用いたマルチモーダル説得対話コーパスの収集と分析2022

    • Author(s)
      有岡 無敵, 山本 賢太, 井上 昂治, 河原 達也, 中村 哲, 吉野 幸一郎
    • Organizer
      言語処理学会第26回年次大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] Overview of dialog system technology challenge 102022

    • Author(s)
      Koichiro Yoshino
    • Organizer
      情報処理学会第141回音声言語情報処理研究発表会 (SIG-SLP)
    • Related Report
      2021 Annual Research Report
    • Invited
  • [Presentation] 大規模事前学習対話モデルを用いた説得対話システム2022

    • Author(s)
      有岡 無敵, 吉野 幸一郎, 中村 哲
    • Organizer
      人工知能学会言語・音声理解と対話処理研究会(第94回)(SIG-SLUD)
    • Related Report
      2021 Annual Research Report
  • [Presentation] Eliciting Cooperative Persuasive Dialogue by Multimodal Emotional Robot2021

    • Author(s)
      35.Sara Asai, Koichiro Yoshino, Seitaro Shinagawa, Sakriani Sakti, Satoshi Nakamura
    • Organizer
      International Workshop on Spoken Dialogue Systems Technology (IWSDS) 2021
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] ARTA: Collection and Classification of Ambiguous Requests and Thoughtful Actions2021

    • Author(s)
      36.Shohei Tanaka, Koichiro Yoshino, Katsuhito Sudoh and Satoshi Nakamura
    • Organizer
      the 22nd Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL 2021)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Embodied Dialogue by Autonomous Robot2021

    • Author(s)
      Koichiro Yoshino
    • Organizer
      EMNLP2021 the 3rd workshop of NLP for Conversational AI
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] ニューラルネットワークを使った音声対話制御とその展望2021

    • Author(s)
      吉野 幸一郎
    • Organizer
      日本音響学会2021年秋季大会
    • Related Report
      2021 Annual Research Report
    • Invited
  • [Presentation] 対話制御の方策再利用における行動関連確率の利用2021

    • Author(s)
      Nguyen Tung, 吉野 幸一郎, Sakti Sakriani, 中村 哲
    • Organizer
      第35回人工知能学会全国大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 対話における後続発話のエントレインメント予測2021

    • Author(s)
      金崎 翔大,河野 誠也,湯口 彰重,桂井 麻里衣,吉野 幸一郎
    • Organizer
      人工知能学会言語・音声理解と対話処理研究会(第93回)(SIG-SLUD)
    • Related Report
      2021 Annual Research Report
  • [Presentation] 実世界における対話システム2021

    • Author(s)
      吉野 幸一郎
    • Organizer
      情報処理学会自然言語処理研究会第249回研究会
    • Related Report
      2021 Annual Research Report
    • Invited
  • [Presentation] Dialogue Structure Parsing on Multi-Floor Dialogue Based on Multi-Task Learning2021

    • Author(s)
      37.Seiya Kawano, Koichiro Yoshino, David Traum and Satoshi Nakamura
    • Organizer
      the first ROBOT-DIAL workshop at IJCAI 2020
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 問い返し質問文生成によって曖昧性解消を行う質問応答システム2021

    • Author(s)
      中野佑哉,河野誠也,吉野幸一郎,須藤克仁,中村哲.
    • Organizer
      言語処理学会第27回年次大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 曖昧な要求と気の利いた応答を含む対話コーパスの収集と分類2021

    • Author(s)
      田中翔平,吉野幸一郎,須藤克仁,中村哲.
    • Organizer
      言語処理学会第27回年次大会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 対話における画像・音声・言語情報の利用.2021

    • Author(s)
      吉野 幸一郎
    • Organizer
      日本ロボット学会第132回ロボット工学セミナー “視覚と言語を通じたロボットとの共同作業を目指して
    • Related Report
      2020 Annual Research Report
    • Invited
  • [Presentation] マルチタスク学習に基づいた複数フロアの対話構造の自動解析2021

    • Author(s)
      河野 誠也, 吉野 幸一郎, David Traum, 中村 哲
    • Organizer
      人工知能学会言語・音声理解と対話処理研究会(第91回)(SIG-SLUD)
    • Related Report
      2020 Annual Research Report
  • [Presentation] Emotional Speech Corpus for Persuasive Dialogue System2020

    • Author(s)
      40.Sara Asai, Koichiro Yoshino, Seitaro Shinagawa, Sakriani Sakti and Satoshi Nakamura
    • Organizer
      12th edition of the Language Resources and Evaluation Conference (LREC)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Improving Spoken Language Understanding by Wisdom of Crowds2020

    • Author(s)
      38.Koichiro Yoshino, Kana Ikeuchi, Katsuhito Sudoh, Satoshi Nakamura
    • Organizer
      the 28th International Conference on Computational Linguistics (COLING2020)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] マルチモーダル感情表現を用いて説得を行う音声対話ロボット2020

    • Author(s)
      78.浅井 沙良, 品川 政太朗, 吉野 幸一郎, サクティ サクリアニ, 中村 哲
    • Organizer
      人工知能学会全国大会(第34回)
    • Related Report
      2020 Annual Research Report
  • [Presentation] 文脈に対して同調的応答を生成するニューラル会話モデルの検討2020

    • Author(s)
      河野 誠也, 水上 雅博, 吉野 幸一郎, 中村 哲.
    • Organizer
      人工知能学会全国大会(第34回)
    • Related Report
      2020 Annual Research Report
  • [Presentation] 発話意図の再構築による制約を利用する条件付き応答生成モデル2020

    • Author(s)
      77.隆辻 秀和, 吉野 幸一郎, 須藤 克仁, 中村 哲.
    • Organizer
      人工知能学会全国大会(第34回)
    • Related Report
      2020 Annual Research Report
  • [Presentation] 対話によって曖昧性解消を行う質問応答.2020

    • Author(s)
      中野 佑哉, 河野 誠也, 吉野 幸一郎, 中村 哲.
    • Organizer
      情報処理学会自然言語処理研究会(第244回)
    • Related Report
      2020 Annual Research Report
  • [Presentation] 文構造に基づく質問文への曖昧性付与と質問生成.2020

    • Author(s)
      中野 佑哉, 河野 誠也, 吉野 幸一郎, 中村 哲.
    • Organizer
      人工知能学会言語・音声理解と対話処理研究会(第90回)第11回対話システムシンポジウム(SIG-SLUD)
    • Related Report
      2020 Annual Research Report
  • [Presentation] 対話エージェントの機能に着目した気の利いた応答を含むコーパスの収集2020

    • Author(s)
      田中 翔平, 吉野 幸一郎, 須藤 克仁, 中村 哲.
    • Organizer
      人工知能学会言語・音声理解と対話処理研究会(第90回)第11回対話システムシンポジウム(SIG-SLUD)
    • Related Report
      2020 Annual Research Report
  • [Book] Multimodal Agents for Ageing and Multicultural Societies2021

    • Author(s)
      1.Juliana Miehle, Wolfgang Minker, Elisabeth Andre, Koichiro Yoshino
    • Total Pages
      104
    • Publisher
      Springer
    • ISBN
      9789811634758
    • Related Report
      2021 Annual Research Report

URL: 

Published: 2020-04-28   Modified: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi