Intelligent Conversational System for Dialogue Engagement and Rapport with Humans

• Project Area: Studies on intelligent systems for dialogue toward the human-machine symbiotic society
• Project/Area Number: 19H05691
• Research Category: Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
• Allocation Type: Single-year Grants
• Review Section: Complex systems
• Research Institution: Kyoto University
• Principal Investigator: 河原 達也 京都大学, 情報学研究科, 教授 (00234104)
• Co-Investigator(Kenkyū-buntansha): 井上 昂治 京都大学, 情報学研究科, 助教 (10838684) ; 吉川 雄一郎 大阪大学, 大学院基礎工学研究科, 准教授 (60418530) ; 飯尾 尊優 同志社大学, 文化情報学部, 准教授 (70642958)
• Project Period (FY): 2019-06-28 – 2024-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥162,760,000 (Direct Cost: ¥125,200,000、Indirect Cost: ¥37,560,000); Fiscal Year 2023: ¥28,080,000 (Direct Cost: ¥21,600,000、Indirect Cost: ¥6,480,000); Fiscal Year 2022: ¥28,080,000 (Direct Cost: ¥21,600,000、Indirect Cost: ¥6,480,000); Fiscal Year 2021: ¥37,440,000 (Direct Cost: ¥28,800,000、Indirect Cost: ¥8,640,000); Fiscal Year 2020: ¥28,080,000 (Direct Cost: ¥21,600,000、Indirect Cost: ¥6,480,000); Fiscal Year 2019: ¥41,080,000 (Direct Cost: ¥31,600,000、Indirect Cost: ¥9,480,000)
• Keywords: 対話知能 / 音声対話 / ロボット / マルチモーダル / 知能情報学

Outline of Research at the Start

スマートフォンアシスタントやスマートスピーカによる音声対話システムの実用化が進んでいるが，ほとんどが一問一答にとどまっており，ユーザの意図に沿った対話を長く継続することは容易でない．本研究では，複数モダリティによる傾聴と複数ロボットによる対話のアプローチを組み合わせて，高度な対話感を実現し，対話継続と人間関係構築支援を可能にする知能対話システムの研究開発に取り組む．特に高齢者とのコミュニケーションを想定して，対話を継続させるためのメカニズムの解明と実現を目指す．また従来，対話相手は通常一人に限定されていたが，本研究では複数人も想定した対話モデル・システムの実現を目指す．

Outline of Annual Research Achievements

本研究では、特に高齢者や精神障害者とのコミュニケーションを想定して、対話を継続するためのメカニズムの解明と実現を目指している。本年度は、共感を表出する音声対話システムのために、共有笑いの生成や相槌の韻律の同調的な生成に関する研究を行った。
また、複数人を相手に対話を行うシステムを本格的に実装し、商業施設における来場者を対象として実証実験を行った。ロボットの対話相手を２名の来場者とするか、１名の来場者と別のロボットとするかを変え、また対話の際に、この２者のいずれか、あるいは両方に質問をするかを変え、推薦ロボットの印象と推薦アイテムの需要率を評価した。２名の来場者に推薦する際に、両方の意見に基づいて推薦をした方が推薦成功率や、納得感が有意に高まることを確認した。
さらに、A01グループの熊崎教授と共同で、精神科（主に統合失調症）のデイケア利用者を対象として、ロボットを用いた対話実験を継続的に実施した。京都大学で開発した傾聴をベースとしたシステムと大阪大学で開発した質問をベースとしたシステムの両方を試験した。前者は、利用者の発話に対して、相槌や焦点語の繰返し・掘下げを行うが、利用者が沈黙してしまった場合には、「どう思いましたか？」、さらに「それは楽しかったですか、それともしんどかったですか？」という質問も生成するようにした。後者は、観光などの話題を設定し、利用者に選択してもらったものに感想を述べることで対話が進行するものである。実験者またはデイケアスタッフが介入することもあったが、約半数弱の人は目標の３分に近い対話を行うことができた。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

今年度はコロナ禍が少し改善され、実証実験を進めることができた。また、グループ間の連携も深めることができた。

Strategy for Future Research Activity

要素技術やシステムを発展させるとともに、実証実験を継続させる。

Research Products

• [Journal Article] Effect of Robot Embodiment on Satisfaction With Recommendations in Shopping Malls (2022)
  • Author(s): Sakai Kazuki、Nakamura Yutaka、Yoshikawa Yuichiro、Ishiguro Hiroshi
  • Journal Title: IEEE Robotics and Automation Letters Volume: 7 Pages: 366～372
  • DOI: 10.1109/lra.2021.3128233
  • Peer Reviewed / Open Access
• [Journal Article] Comparison of Philosophical Dialogue with a Robot and with a Human (2022)
  • Author(s): Someya Yurina、Iio Takamasa
  • Journal Title: Applied Sciences Volume: 12 Pages: 1237～1237
  • DOI: 10.3390/app12031237
  • Peer Reviewed / Open Access
• [Journal Article] アンドロイドERICAの傾聴対話システム--人間による傾聴との比較評価-- (2021)
  • Author(s): 井上 昂治, ラーラー ディベッシュ, 山本 賢太, 中村 静, 高梨 克也, 河原 達也
  • Journal Title: 人工知能学会論文誌 Volume: 36 Pages: H-L51_1-12
  • DOI: 10.1527/tjsai.36-5_H-L51
  • Peer Reviewed / Open Access
• [Journal Article] Double-meaning agreements by two robots to conceal incoherent agreements to user's opinions (2021)
  • Author(s): Iio Takamasa、Yoshikawa Yuichiro、Ishiguro Hiroshi
  • Journal Title: Advanced Robotics Volume: 35 Pages: 1145～1155
  • DOI: 10.1080/01691864.2021.1974939
  • Peer Reviewed / Open Access
• [Journal Article] Actively listening twin robots for long-duration conversation with the elderly (2021)
  • Author(s): Nishio Toshiaki、Yoshikawa Yuichiro、Iio Takamasa、Chiba Mariko、Asami Taichi、Isoda Yoshinori、Ishiguro Hiroshi
  • Journal Title: ROBOMECH Journal Volume: 8 Pages: 1～10
  • DOI: 10.1186/s40648-021-00205-5
  • Peer Reviewed / Open Access
• [Journal Article] Using Multiple Robots to Increase Suggestion Persuasiveness in Public Space (2021)
  • Author(s): Tae Marcos Inky、Ogawa Kohei、Yoshikawa Yuichiro、Ishiguro Hiroshi
  • Journal Title: Applied Sciences Volume: 11 Pages: 6080～6080
  • DOI: 10.3390/app11136080
  • Peer Reviewed / Open Access
• [Journal Article] Using an Android Robot to Improve Social Connectedness by Sharing Recent Experiences of Group Members in Human-Robot Conversations (2021)
  • Author(s): Fu Changzeng、Liu Chaoran、Ishi Carlos Toshinori、Yoshikawa Yuichiro、Iio Takamasa、Ishiguro Hiroshi
  • Journal Title: IEEE Robotics and Automation Letters Volume: 6 Pages: 6670～6677
  • DOI: 10.1109/LRA.2021.3094779
  • Peer Reviewed / Open Access
• [Journal Article] The Effects of Physically Embodied Multiple Conversation Robots on the Elderly (2021)
  • Author(s): Nishio Toshiaki、Yoshikawa Yuichiro、Sakai Kazuki、Iio Takamasa、Chiba Mariko、Asami Taichi、Isoda Yoshinori、Ishiguro Hiroshi
  • Journal Title: Frontiers in Robotics and AI Volume: 8
  • DOI: 10.3389/frobt.2021.633045
  • Peer Reviewed
• [Journal Article] 掘り下げ質問を行う就職面接対話システムの 自律型アンドロイドでの実装と評価. (2020)
  • Author(s): 井上昂治, 原康平, ララディベッシュ, 山本賢太, 中村静, 高梨克也, 河原達也.
  • Journal Title: 人工知能学会論文誌 Volume: 35 Pages: D～K43_1-10
  • DOI: 10.1527/tjsai.35-5_D-K43
  • Peer Reviewed / Open Access
• [Journal Article] アンドロイドを用いた音声対話研究 (2020)
  • Author(s): 井上 昂治、河原 達也
  • Journal Title: 日本音響学会誌 Volume: 76 Pages: 236～243
  • DOI: 10.20697/jasj.76.4_236
• [Journal Article] Can a humanoid robot continue to draw attention in an office environment? (2020)
  • Author(s): Okafuji Yuki、Baba Jun、Nakanishi Junya、Kuramoto Itaru、Ogawa Kohei、Yoshikawa Yuichiro、Ishiguro Hiroshi
  • Journal Title: Advanced Robotics Volume: 34 Pages: 931～946
  • DOI: 10.1080/01691864.2020.1769724
  • Peer Reviewed
• [Journal Article] Twin-Robot Dialogue System with Robustness against Speech Recognition Failure in Human-Robot Dialogue with Elderly People (2020)
  • Author(s): Iio Takamasa、Yoshikawa Yuichiro、Chiba Mariko、Asami Taichi、Isoda Yoshinori、Ishiguro Hiroshi
  • Journal Title: Applied Sciences Volume: 10 Pages: 1522～1522
  • DOI: 10.3390/app10041522
  • Peer Reviewed / Open Access
• [Presentation] 大規模テキストデータを用いた事前学習による音声対話の相槌予測 (2022)
  • Author(s): 長連成, 井上昂治, 越智景子, 河原達也
  • Organizer: 情報処理学会第84回全国大会
• [Presentation] 仮想空間上での咳動作がもたらす対人距離への影響 (2022)
  • Author(s): 久保田侑, 木本充彦, 飯尾尊優, 下原勝憲, 塩見昌裕
  • Organizer: インタラクション2022
• [Presentation] ロボットの台数が増えることで謝罪の効果は高まるか？ (2022)
  • Author(s): 岡田 優花，木本 充彦，飯尾 尊優，下原 勝憲，塩見 昌裕
  • Organizer: インタラクション2022
• [Presentation] ロボット間の対話に基づく合意形成が人の思考に与える影響 (2022)
  • Author(s): 板原 宏樹，木本 充彦，飯尾 尊優，下原 勝憲，塩見 昌裕
  • Organizer: インタラクション2022
• [Presentation] A multi-party attentive listening robot which stimulates involvement from side participants (2021)
  • Author(s): K. Inoue, H. Sakamoto, K. Yamamoto, D. Lala, T. Kawahara
  • Organizer: SIGdial Meeting Discourse & Dialogue (SIGDIAL) 2021
  • Int'l Joint Research
• [Presentation] 共感を表出する音声対話システムのための共有笑い生成 (2021)
  • Author(s): 井上昂治, ラーラーディベッシュ, 河原達也
  • Organizer: 人工知能学会 第93回 言語・音声理解と対話処理研究会
• [Presentation] 音声対話システムのユーザ適応に向けたパーソナリティの関係性の分析 (2021)
  • Author(s): 山本賢太, 井上昂治, 河原達也
  • Organizer: 人工知能学会 第93回 言語・音声理解と対話処理研究会
• [Presentation] アンドロイドERICAの音声対話システム～マルチモーダルチューリングテストへの挑戦～ (2021)
  • Author(s): 井上昂治
  • Organizer: 音学シンポジウム2021
  • Invited
• [Presentation] 非言語応答の半自律生成機能を持つ社会的複数CGアバター対話システムの評価 (2021)
  • Author(s): 上原悠輝, 酒井和紀, 吉川雄一郎, 石黒浩
  • Organizer: 第39回日本ロボット学会学術講演会
• [Presentation] 複数ロボットによる対話継続効果検証のための商業施設でのフィールド実験 (2021)
  • Author(s): 酒井和紀, 吉川雄一郎, 井上昂治, 河原達也, 石黒浩
  • Organizer: 第39回日本ロボット学会学術講演会
• [Presentation] Expression of Robot’s Emotion and Intention Utilizing Physical Positioning in Conversation (2021)
  • Author(s): Ayaka Ueda, Hamed Mahzoon, Yuichiro Yoshikawa, Hiroshi Ishiguro
  • Organizer: International Conference on Human-Agent Interaction
  • Int'l Joint Research
• [Presentation] An empirical study of how much a social robot increases the rate of valid responses in a questionnaire survey (2021)
  • Author(s): T. Natori, T. Iio
  • Organizer: IEEE International Conference on Robot & Human Interactive Communication (RO-MAN)
  • Int'l Joint Research
• [Presentation] ERATO石黒共生HRIから新学術領域研究「知能対話学」及び ムーンショット「アバター共生社会」に展開する音声対話研究 (2021)
  • Author(s): 河原達也
  • Organizer: 情報処理学会 音声言語情報処理研究会
  • Invited
• [Presentation] A character expression model affecting spoken dialogue behaviors (2020)
  • Author(s): K.Yamamoto, K.Inoue, S.Nakamura, K.Takanashi, and T.Kawahara
  • Organizer: Int'l Workshop Spoken Dialogue Systems (IWSDS)
  • Int'l Joint Research
• [Presentation] Response generation to out-of-database questions for example-based dialogue systems (2020)
  • Author(s): S.Isonishi, K.Inoue, D.Lala, K.Takanashi, and T.Kawahara
  • Organizer: Int'l Workshop Spoken Dialogue Systems (IWSDS)
  • Int'l Joint Research
• [Presentation] Analysis and modeling of between-sentence pauses in news speech by Japanese newscasters (2020)
  • Author(s): S.Nakamura, C.T.Ishi, and T.Kawahara
  • Organizer: Int'l Conf. Speech Prosody
  • Int'l Joint Research
• [Presentation] An attentive listening system with android ERICA: Comparison of autonomous and WOZ interactions (2020)
  • Author(s): K.Inoue, D.Lala, K.Yamamoto, S.Nakamura, K.Takanashi, and T.Kawahara
  • Organizer: SIGdial Meeting Discourse & Dialogue (SIGDIAL)
  • Int'l Joint Research
• [Presentation] Semi-supervised learning for character expression of spoken dialogue systems (2020)
  • Author(s): K.Yamamoto, K.Inoue, and T.Kawahara
  • Organizer: INTERSPEECH
  • Int'l Joint Research
• [Presentation] Job interviewer android with elaborate follow-up question generation (2020)
  • Author(s): K.Inoue, K.Hara, D.Lala, K.Yamamoto, S.Nakamura, K.Takanashi, and T.Kawahara
  • Organizer: Int'l Conf. on Multimodal Interaction (ICMI)
  • Int'l Joint Research
• [Presentation] Robot-on-Robot Gossiping to Improve Sense of Human-Robot Conversation (2020)
  • Author(s): S. Mitsuno, Y. Yoshikawa, and H. Ishiguro
  • Organizer: IEEE International Conference on Robot & Human Interactive Communication (RO-MAN)
  • Int'l Joint Research
• [Presentation] Multiple-Robot Mediated Discussion System to support group discussion (2020)
  • Author(s): S. Ikari, Y. Yoshikawa, and H. Ishiguro
  • Organizer: IEEE International Conference on Robot & Human Interactive Communication (RO-MAN)
  • Int'l Joint Research
• [Presentation] Smart Speaker vs. Social Robot in a Case of Hotel Room (2020)
  • Author(s): J. Nakanishi, J. Baba, I. Kuramoto, K. Ogawa, Y. Yoshikawa, and H. Ishiguro
  • Organizer: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
  • Int'l Joint Research
• [Presentation] Spoken Dialogue for Social Robot (2020)
  • Author(s): Tatsuya Kawahara and Kristiina Jokinen
  • Organizer: INTERSPEECH Tutorial
  • Int'l Joint Research / Invited
• [Presentation] Problems and Questions in Spoken Language Interaction with Virtual Agents and Robots (SLIVAR) (2020)
  • Author(s): Tatsuya Kawahara
  • Organizer: Dagstuhl Seminar on Spoken Language Interaction with Virtual Agents and Robots (SLIVAR)
  • Int'l Joint Research / Invited
• [Presentation] Development of Discussion System Where Multiple Robots Exchange User’s Preferences (2020)
  • Author(s): K. Sakai, Y. Nakamura, Y. Yoshikawa, H. Ishiguro
  • Organizer: International Symposium on Symbiotic Intelligent Systems
  • Int'l Joint Research
• [Presentation] 自律型アンドロイドERICAによる就職面接対話 (2020)
  • Author(s): 井上昂治, 原康平, Lala Divesh, 山本賢太, 中村静, 高梨克也, 河原達也,
  • Organizer: 日本音響学会春季研究発表会
• [Presentation] Spoken Dialogue Processing for Multimodal Human-Robot Interaction (2019)
  • Author(s): Tatsuya Kawahara
  • Organizer: ICMI Tutorial
  • Int'l Joint Research / Invited
• [Presentation] Possibility of Conversation Robots for Individuals with Autism Spectrum Disorder (2019)
  • Author(s): Y. Yoshikawa
  • Organizer: HAI 2019 Workshop on Clinical Use of Technology for Individuals with Autism Spectrum Disorder
  • Int'l Joint Research
• [Presentation] 自閉スペクトラム症療育の複数ロボットシステムを用いた挑戦 (2019)
  • Author(s): 吉川雄一郎
  • Organizer: 日本児童青年精神医学会総会 シンポジウム
  • Invited
• [Remarks] 新学術領域研究「人間機械共生社会を目指した対話知能システム学」
  • URL: https://www.commu-ai.org/
• [Remarks] 「新学術領域研究」 人間機械共生社会を目指した対話知能システム学
  • URL: https://www.commu-ai.org/
• [Patent(Industrial Property Rights)] 推定システム、推定装置、推定方法及びコンピュータプログラム (2020)
  • Inventor(s): 尾崎 安範、馬場 惇、中西 惇也、吉川 雄一郎、石黒 浩
  • Industrial Property Rights Holder: 尾崎 安範、馬場 惇、中西 惇也、吉川 雄一郎、石黒 浩
  • Industrial Property Rights Type: 特許
  • Industrial Property Number: 特願2020-147859