• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Intelligent Conversational System for Dialogue Engagement and Rapport with Humans

Planned Research

Project AreaStudies on intelligent systems for dialogue toward the human-machine symbiotic society
Project/Area Number 19H05691
Research Category

Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)

Allocation TypeSingle-year Grants
Review Section Complex systems
Research InstitutionKyoto University

Principal Investigator

河原 達也  京都大学, 情報学研究科, 教授 (00234104)

Co-Investigator(Kenkyū-buntansha) 井上 昂治  京都大学, 情報学研究科, 助教 (10838684)
吉川 雄一郎  大阪大学, 大学院基礎工学研究科, 准教授 (60418530)
飯尾 尊優  同志社大学, 文化情報学部, 准教授 (70642958)
Project Period (FY) 2019-06-28 – 2024-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥162,760,000 (Direct Cost: ¥125,200,000、Indirect Cost: ¥37,560,000)
Fiscal Year 2023: ¥28,080,000 (Direct Cost: ¥21,600,000、Indirect Cost: ¥6,480,000)
Fiscal Year 2022: ¥28,080,000 (Direct Cost: ¥21,600,000、Indirect Cost: ¥6,480,000)
Fiscal Year 2021: ¥37,440,000 (Direct Cost: ¥28,800,000、Indirect Cost: ¥8,640,000)
Fiscal Year 2020: ¥28,080,000 (Direct Cost: ¥21,600,000、Indirect Cost: ¥6,480,000)
Fiscal Year 2019: ¥41,080,000 (Direct Cost: ¥31,600,000、Indirect Cost: ¥9,480,000)
Keywords対話知能 / 音声対話 / ロボット / マルチモーダル / 知能情報学
Outline of Research at the Start

スマートフォンアシスタントやスマートスピーカによる音声対話システムの実用化が進んでいるが,ほとんどが一問一答にとどまっており,ユーザの意図に沿った対話を長く継続することは容易でない.本研究では,複数モダリティによる傾聴と複数ロボットによる対話のアプローチを組み合わせて,高度な対話感を実現し,対話継続と人間関係構築支援を可能にする知能対話システムの研究開発に取り組む.特に高齢者とのコミュニケーションを想定して,対話を継続させるためのメカニズムの解明と実現を目指す.また従来,対話相手は通常一人に限定されていたが,本研究では複数人も想定した対話モデル・システムの実現を目指す.

Outline of Annual Research Achievements

本研究では、特に高齢者や精神障害者とのコミュニケーションを想定して、対話を継続するためのメカニズムの解明と実現を目指している。本年度は、共感を表出する音声対話システムのために、共有笑いの生成や相槌の韻律の同調的な生成に関する研究を行った。
また、複数人を相手に対話を行うシステムを本格的に実装し、商業施設における来場者を対象として実証実験を行った。ロボットの対話相手を2名の来場者とするか、1名の来場者と別のロボットとするかを変え、また対話の際に、この2者のいずれか、あるいは両方に質問をするかを変え、推薦ロボットの印象と推薦アイテムの需要率を評価した。2名の来場者に推薦する際に、両方の意見に基づいて推薦をした方が推薦成功率や、納得感が有意に高まることを確認した。
さらに、A01グループの熊崎教授と共同で、精神科(主に統合失調症)のデイケア利用者を対象として、ロボットを用いた対話実験を継続的に実施した。京都大学で開発した傾聴をベースとしたシステムと大阪大学で開発した質問をベースとしたシステムの両方を試験した。前者は、利用者の発話に対して、相槌や焦点語の繰返し・掘下げを行うが、利用者が沈黙してしまった場合には、「どう思いましたか?」、さらに「それは楽しかったですか、それともしんどかったですか?」という質問も生成するようにした。後者は、観光などの話題を設定し、利用者に選択してもらったものに感想を述べることで対話が進行するものである。実験者またはデイケアスタッフが介入することもあったが、約半数弱の人は目標の3分に近い対話を行うことができた。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

今年度はコロナ禍が少し改善され、実証実験を進めることができた。また、グループ間の連携も深めることができた。

Strategy for Future Research Activity

要素技術やシステムを発展させるとともに、実証実験を継続させる。

Report

(3 results)
  • 2021 Annual Research Report
  • 2020 Annual Research Report
  • 2019 Annual Research Report

Research Products

(44 results)

All 2022 2021 2020 2019 Other

All Journal Article (12 results) (of which Peer Reviewed: 11 results,  Open Access: 9 results) Presentation (29 results) (of which Int'l Joint Research: 17 results,  Invited: 6 results) Remarks (2 results) Patent(Industrial Property Rights) (1 results)

  • [Journal Article] Effect of Robot Embodiment on Satisfaction With Recommendations in Shopping Malls2022

    • Author(s)
      Sakai Kazuki、Nakamura Yutaka、Yoshikawa Yuichiro、Ishiguro Hiroshi
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 7 Pages: 366~372

    • DOI

      10.1109/lra.2021.3128233

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Comparison of Philosophical Dialogue with a Robot and with a Human2022

    • Author(s)
      Someya Yurina、Iio Takamasa
    • Journal Title

      Applied Sciences

      Volume: 12 Pages: 1237~1237

    • DOI

      10.3390/app12031237

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] アンドロイドERICAの傾聴対話システム--人間による傾聴との比較評価--2021

    • Author(s)
      井上 昂治, ラーラー ディベッシュ, 山本 賢太, 中村 静, 高梨 克也, 河原 達也
    • Journal Title

      人工知能学会論文誌

      Volume: 36 Pages: H-L51_1-12

    • DOI

      10.1527/tjsai.36-5_H-L51

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Double-meaning agreements by two robots to conceal incoherent agreements to user's opinions2021

    • Author(s)
      Iio Takamasa、Yoshikawa Yuichiro、Ishiguro Hiroshi
    • Journal Title

      Advanced Robotics

      Volume: 35 Pages: 1145~1155

    • DOI

      10.1080/01691864.2021.1974939

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Actively listening twin robots for long-duration conversation with the elderly2021

    • Author(s)
      Nishio Toshiaki、Yoshikawa Yuichiro、Iio Takamasa、Chiba Mariko、Asami Taichi、Isoda Yoshinori、Ishiguro Hiroshi
    • Journal Title

      ROBOMECH Journal

      Volume: 8 Pages: 1~10

    • DOI

      10.1186/s40648-021-00205-5

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Using Multiple Robots to Increase Suggestion Persuasiveness in Public Space2021

    • Author(s)
      Tae Marcos Inky、Ogawa Kohei、Yoshikawa Yuichiro、Ishiguro Hiroshi
    • Journal Title

      Applied Sciences

      Volume: 11 Pages: 6080~6080

    • DOI

      10.3390/app11136080

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Using an Android Robot to Improve Social Connectedness by Sharing Recent Experiences of Group Members in Human-Robot Conversations2021

    • Author(s)
      Fu Changzeng、Liu Chaoran、Ishi Carlos Toshinori、Yoshikawa Yuichiro、Iio Takamasa、Ishiguro Hiroshi
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 6 Pages: 6670~6677

    • DOI

      10.1109/LRA.2021.3094779

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] The Effects of Physically Embodied Multiple Conversation Robots on the Elderly2021

    • Author(s)
      Nishio Toshiaki、Yoshikawa Yuichiro、Sakai Kazuki、Iio Takamasa、Chiba Mariko、Asami Taichi、Isoda Yoshinori、Ishiguro Hiroshi
    • Journal Title

      Frontiers in Robotics and AI

      Volume: 8

    • DOI

      10.3389/frobt.2021.633045

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 掘り下げ質問を行う就職面接対話システムの 自律型アンドロイドでの実装と評価.2020

    • Author(s)
      井上昂治, 原康平, ララディベッシュ, 山本賢太, 中村静, 高梨克也, 河原達也.
    • Journal Title

      人工知能学会論文誌

      Volume: 35 Pages: D~K43_1-10

    • DOI

      10.1527/tjsai.35-5_D-K43

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] アンドロイドを用いた音声対話研究2020

    • Author(s)
      井上 昂治、河原 達也
    • Journal Title

      日本音響学会誌

      Volume: 76 Pages: 236~243

    • DOI

      10.20697/jasj.76.4_236

    • Related Report
      2020 Annual Research Report
  • [Journal Article] Can a humanoid robot continue to draw attention in an office environment?2020

    • Author(s)
      Okafuji Yuki、Baba Jun、Nakanishi Junya、Kuramoto Itaru、Ogawa Kohei、Yoshikawa Yuichiro、Ishiguro Hiroshi
    • Journal Title

      Advanced Robotics

      Volume: 34 Pages: 931~946

    • DOI

      10.1080/01691864.2020.1769724

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Twin-Robot Dialogue System with Robustness against Speech Recognition Failure in Human-Robot Dialogue with Elderly People2020

    • Author(s)
      Iio Takamasa、Yoshikawa Yuichiro、Chiba Mariko、Asami Taichi、Isoda Yoshinori、Ishiguro Hiroshi
    • Journal Title

      Applied Sciences

      Volume: 10 Pages: 1522~1522

    • DOI

      10.3390/app10041522

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] 大規模テキストデータを用いた事前学習による音声対話の相槌予測2022

    • Author(s)
      長連成, 井上昂治, 越智景子, 河原達也
    • Organizer
      情報処理学会第84回全国大会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 仮想空間上での咳動作がもたらす対人距離への影響2022

    • Author(s)
      久保田侑, 木本充彦, 飯尾尊優, 下原勝憲, 塩見昌裕
    • Organizer
      インタラクション2022
    • Related Report
      2021 Annual Research Report
  • [Presentation] ロボットの台数が増えることで謝罪の効果は高まるか?2022

    • Author(s)
      岡田 優花,木本 充彦,飯尾 尊優,下原 勝憲,塩見 昌裕
    • Organizer
      インタラクション2022
    • Related Report
      2021 Annual Research Report
  • [Presentation] ロボット間の対話に基づく合意形成が人の思考に与える影響2022

    • Author(s)
      板原 宏樹,木本 充彦,飯尾 尊優,下原 勝憲,塩見 昌裕
    • Organizer
      インタラクション2022
    • Related Report
      2021 Annual Research Report
  • [Presentation] A multi-party attentive listening robot which stimulates involvement from side participants2021

    • Author(s)
      K. Inoue, H. Sakamoto, K. Yamamoto, D. Lala, T. Kawahara
    • Organizer
      SIGdial Meeting Discourse & Dialogue (SIGDIAL) 2021
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 共感を表出する音声対話システムのための共有笑い生成2021

    • Author(s)
      井上昂治, ラーラーディベッシュ, 河原達也
    • Organizer
      人工知能学会 第93回 言語・音声理解と対話処理研究会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 音声対話システムのユーザ適応に向けたパーソナリティの関係性の分析2021

    • Author(s)
      山本賢太, 井上昂治, 河原達也
    • Organizer
      人工知能学会 第93回 言語・音声理解と対話処理研究会
    • Related Report
      2021 Annual Research Report
  • [Presentation] アンドロイドERICAの音声対話システム~マルチモーダルチューリングテストへの挑戦~2021

    • Author(s)
      井上昂治
    • Organizer
      音学シンポジウム2021
    • Related Report
      2021 Annual Research Report
    • Invited
  • [Presentation] 非言語応答の半自律生成機能を持つ社会的複数CGアバター対話システムの評価2021

    • Author(s)
      上原悠輝, 酒井和紀, 吉川雄一郎, 石黒浩
    • Organizer
      第39回日本ロボット学会学術講演会
    • Related Report
      2021 Annual Research Report
  • [Presentation] 複数ロボットによる対話継続効果検証のための商業施設でのフィールド実験2021

    • Author(s)
      酒井和紀, 吉川雄一郎, 井上昂治, 河原達也, 石黒浩
    • Organizer
      第39回日本ロボット学会学術講演会
    • Related Report
      2021 Annual Research Report
  • [Presentation] Expression of Robot’s Emotion and Intention Utilizing Physical Positioning in Conversation2021

    • Author(s)
      Ayaka Ueda, Hamed Mahzoon, Yuichiro Yoshikawa, Hiroshi Ishiguro
    • Organizer
      International Conference on Human-Agent Interaction
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] An empirical study of how much a social robot increases the rate of valid responses in a questionnaire survey2021

    • Author(s)
      T. Natori, T. Iio
    • Organizer
      IEEE International Conference on Robot & Human Interactive Communication (RO-MAN)
    • Related Report
      2021 Annual Research Report
    • Int'l Joint Research
  • [Presentation] ERATO石黒共生HRIから新学術領域研究「知能対話学」及び ムーンショット「アバター共生社会」に展開する音声対話研究2021

    • Author(s)
      河原達也
    • Organizer
      情報処理学会 音声言語情報処理研究会
    • Related Report
      2020 Annual Research Report
    • Invited
  • [Presentation] A character expression model affecting spoken dialogue behaviors2020

    • Author(s)
      K.Yamamoto, K.Inoue, S.Nakamura, K.Takanashi, and T.Kawahara
    • Organizer
      Int'l Workshop Spoken Dialogue Systems (IWSDS)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Response generation to out-of-database questions for example-based dialogue systems2020

    • Author(s)
      S.Isonishi, K.Inoue, D.Lala, K.Takanashi, and T.Kawahara
    • Organizer
      Int'l Workshop Spoken Dialogue Systems (IWSDS)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Analysis and modeling of between-sentence pauses in news speech by Japanese newscasters2020

    • Author(s)
      S.Nakamura, C.T.Ishi, and T.Kawahara
    • Organizer
      Int'l Conf. Speech Prosody
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] An attentive listening system with android ERICA: Comparison of autonomous and WOZ interactions2020

    • Author(s)
      K.Inoue, D.Lala, K.Yamamoto, S.Nakamura, K.Takanashi, and T.Kawahara
    • Organizer
      SIGdial Meeting Discourse & Dialogue (SIGDIAL)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Semi-supervised learning for character expression of spoken dialogue systems2020

    • Author(s)
      K.Yamamoto, K.Inoue, and T.Kawahara
    • Organizer
      INTERSPEECH
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Job interviewer android with elaborate follow-up question generation2020

    • Author(s)
      K.Inoue, K.Hara, D.Lala, K.Yamamoto, S.Nakamura, K.Takanashi, and T.Kawahara
    • Organizer
      Int'l Conf. on Multimodal Interaction (ICMI)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Robot-on-Robot Gossiping to Improve Sense of Human-Robot Conversation2020

    • Author(s)
      S. Mitsuno, Y. Yoshikawa, and H. Ishiguro
    • Organizer
      IEEE International Conference on Robot & Human Interactive Communication (RO-MAN)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Multiple-Robot Mediated Discussion System to support group discussion2020

    • Author(s)
      S. Ikari, Y. Yoshikawa, and H. Ishiguro
    • Organizer
      IEEE International Conference on Robot & Human Interactive Communication (RO-MAN)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Smart Speaker vs. Social Robot in a Case of Hotel Room2020

    • Author(s)
      J. Nakanishi, J. Baba, I. Kuramoto, K. Ogawa, Y. Yoshikawa, and H. Ishiguro
    • Organizer
      IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Spoken Dialogue for Social Robot2020

    • Author(s)
      Tatsuya Kawahara and Kristiina Jokinen
    • Organizer
      INTERSPEECH Tutorial
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] Problems and Questions in Spoken Language Interaction with Virtual Agents and Robots (SLIVAR)2020

    • Author(s)
      Tatsuya Kawahara
    • Organizer
      Dagstuhl Seminar on Spoken Language Interaction with Virtual Agents and Robots (SLIVAR)
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] Development of Discussion System Where Multiple Robots Exchange User’s Preferences2020

    • Author(s)
      K. Sakai, Y. Nakamura, Y. Yoshikawa, H. Ishiguro
    • Organizer
      International Symposium on Symbiotic Intelligent Systems
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 自律型アンドロイドERICAによる就職面接対話2020

    • Author(s)
      井上昂治, 原康平, Lala Divesh, 山本賢太, 中村静, 高梨克也, 河原達也,
    • Organizer
      日本音響学会春季研究発表会
    • Related Report
      2019 Annual Research Report
  • [Presentation] Spoken Dialogue Processing for Multimodal Human-Robot Interaction2019

    • Author(s)
      Tatsuya Kawahara
    • Organizer
      ICMI Tutorial
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] Possibility of Conversation Robots for Individuals with Autism Spectrum Disorder2019

    • Author(s)
      Y. Yoshikawa
    • Organizer
      HAI 2019 Workshop on Clinical Use of Technology for Individuals with Autism Spectrum Disorder
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 自閉スペクトラム症療育の複数ロボットシステムを用いた挑戦2019

    • Author(s)
      吉川雄一郎
    • Organizer
      日本児童青年精神医学会総会 シンポジウム
    • Related Report
      2019 Annual Research Report
    • Invited
  • [Remarks] 新学術領域研究「人間機械共生社会を目指した対話知能システム学」

    • URL

      https://www.commu-ai.org/

    • Related Report
      2021 Annual Research Report
  • [Remarks] 「新学術領域研究」 人間機械共生社会を目指した対話知能システム学

    • URL

      https://www.commu-ai.org/

    • Related Report
      2020 Annual Research Report 2019 Annual Research Report
  • [Patent(Industrial Property Rights)] 推定システム、推定装置、推定方法及びコンピュータプログラム2020

    • Inventor(s)
      尾崎 安範、馬場 惇、中西 惇也、吉川 雄一郎、石黒 浩
    • Industrial Property Rights Holder
      尾崎 安範、馬場 惇、中西 惇也、吉川 雄一郎、石黒 浩
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      特願2020-147859
    • Related Report
      2020 Annual Research Report

URL: 

Published: 2019-07-04   Modified: 2023-07-19  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi