• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2023 Fiscal Year Annual Research Report

Intelligent Conversational System for Dialogue Engagement and Rapport with Humans

Planned Research

Project AreaStudies on intelligent systems for dialogue toward the human-machine symbiotic society
Project/Area Number 19H05691
Research InstitutionKyoto University

Principal Investigator

河原 達也  京都大学, 情報学研究科, 教授 (00234104)

Co-Investigator(Kenkyū-buntansha) 井上 昂治  京都大学, 情報学研究科, 助教 (10838684)
吉川 雄一郎  大阪大学, 大学院基礎工学研究科, 准教授 (60418530)
飯尾 尊優  同志社大学, 文化情報学部, 准教授 (70642958)
Project Period (FY) 2019-06-28 – 2024-03-31
Keywords対話知能 / 音声対話 / ロボット / マルチモーダル / 知能情報学
Outline of Annual Research Achievements

本研究は、特に高齢者や精神障害者とのコミュニケーションを想定して、対話を継続するためのメカニズムの解明と実現を目指して行ってきた。京都大学のグループ(河原・井上ら)では、人の話を傾聴するシステム・ロボットを構成し、共感的な応答を生成する様々な方法の研究を行った。今年度は、ユーザの欲求や感情とともに、システムの欲求や感情を推論する機構を導入したり、バリデーションと呼ばれる相手の話を受け止めて肯定する技法の検討を行った。大阪大学のグループ(吉川ら)では、複数のロボット間で発話交替をしたり,過去に対話した人に言及したりするなど、自身が置かれている社会的状況を活用した戦略によって対話展開するロボットを開発した。また、両グループとA01班の熊崎教授らと共同で、2年以上にわたり、精神科(主に統合失調症)のデイケア利用者を対象として、ロボットを用いた対話実験を継続的に実施した。
特に今年度は、複数人の人間と会話する枠組みに発展させた。これは、1名の人が話すのをもう1名とロボットが一緒に傾聴したり、ロボットが2名の人に質問・推薦を行うものである。この枠組みにより、対話感が醸成され、会話をより長く継続したり、人間関係の構築につながることができた。また、対話において他者の情報に言及することが、人間関係の構築に寄与することも示した。これらの成果から、ロボットによる対話が日常生活や公共の場で人々の感情や行動に積極的に作用し、そのウェルビーイングを向上させる有力な手段となり得ることが示唆される。

Research Progress Status

令和5年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和5年度が最終年度であるため、記入しない。

  • Research Products

    (44 results)

All 2024 2023

All Journal Article (12 results) (of which Peer Reviewed: 8 results,  Open Access: 4 results) Presentation (32 results) (of which Int'l Joint Research: 12 results,  Invited: 5 results)

  • [Journal Article] Agreebot introduction dialogue in human?robot interaction: improving the acceptability of robot statements on incapable robotic experiences2024

    • Author(s)
      Mitsuno Seiya、Yoshikawa Yuichiro、Ban Midori、Ishiguro Hiroshi
    • Journal Title

      Advanced Robotics

      Volume: 38 Pages: 1~10

    • DOI

      10.1080/01691864.2023.2301425

    • Peer Reviewed / Open Access
  • [Journal Article] Multiparty conversation via multirobot system: incorporation of nonverbal user responses for continued conversation2024

    • Author(s)
      Sakai Kazuki、Hsieh TingHao、Yoshikawa Yuichiro、Ishiguro Hiroshi
    • Journal Title

      Advanced Robotics

      Volume: 38 Pages: 1~10

    • DOI

      10.1080/01691864.2024.2326969

    • Peer Reviewed
  • [Journal Article] 人の発達・人間関係構築を支える対話型ロボットの可能性2024

    • Author(s)
      吉川雄一郎
    • Journal Title

      心理学評論

      Volume: 66(3) Pages: 242-253

  • [Journal Article] Effect of attentive listening robot on pleasure and arousal change in psychiatric daycare2023

    • Author(s)
      Ochi Keiko、Inoue Koji、Lala Divesh、Kawahara Tatsuya、Kumazaki Hirokazu
    • Journal Title

      Advanced Robotics

      Volume: 37 Pages: 1382~1391

    • DOI

      10.1080/01691864.2023.2257264

    • Peer Reviewed
  • [Journal Article] Dual variational generative model and auxiliary retrieval for empathetic response generation by conversational robot2023

    • Author(s)
      Fu Yahui、Inoue Koji、Lala Divesh、Yamamoto Kenta、Chu Chenhui、Kawahara Tatsuya
    • Journal Title

      Advanced Robotics

      Volume: 37 Pages: 1406~1418

    • DOI

      10.1080/01691864.2023.2270577

    • Peer Reviewed
  • [Journal Article] Character expression of a conversational robot for adapting to user personality2023

    • Author(s)
      Yamamoto Kenta、Inoue Koji、Kawahara Tatsuya
    • Journal Title

      Advanced Robotics

      Volume: 38 Pages: 256~266

    • DOI

      10.1080/01691864.2023.2285804

    • Peer Reviewed
  • [Journal Article] Multi-robot cooperative behavior for reducing unnaturalness of starting a conversation2023

    • Author(s)
      Iio Takamasa、Yoshikawa Yuichiro、Ishiguro Hiroshi
    • Journal Title

      Advanced Robotics

      Volume: 37 Pages: 1~17

    • DOI

      10.1080/01691864.2023.2290151

    • Peer Reviewed / Open Access
  • [Journal Article] Introduction of the Organized Session “Communicative Intelligence and Social Touch for Human-robot Symbiotic Society”2023

    • Author(s)
      Shiomi Masahiro、Iio Takamasa、Yoshino Koichiro、Onishi Yuya
    • Journal Title

      Journal of Natural Language Processing

      Volume: 30 Pages: 1278~1284

    • DOI

      10.5715/jnlp.30.1278

    • Open Access
  • [Journal Article] Expressing Robot’s Understanding of Human Preference Based on Successive Estimations during Dialog2023

    • Author(s)
      Sakai Kazuki、Nakamura Yutaka、Yoshikawa Yuichiro、Kano Shingo、Ishiguro Hiroshi
    • Journal Title

      International Journal of Human-Computer Interaction

      Volume: 39 Pages: 1~22

    • DOI

      10.1080/10447318.2023.2232195

    • Peer Reviewed
  • [Journal Article] A new group-based online job interview training program using computer graphics robots for individuals with autism spectrum disorders2023

    • Author(s)
      Yoshikawa Yuichiro、Muramatsu Taro、Sakai Kazuki、Haraguchi Hideyuki、Kudo Azusa、Ishiguro Hiroshi、Mimura Masaru、Kumazaki Hirokazu
    • Journal Title

      Frontiers in Psychiatry

      Volume: 14 Pages: 1-10

    • DOI

      10.3389/fpsyt.2023.1198433

    • Peer Reviewed / Open Access
  • [Journal Article] 法律を守り・守らせるロボットの社会実装に向けた研究2023

    • Author(s)
      新保 史生、吉川 雄一郎、酒井 和紀、原田 伸一朗
    • Journal Title

      人工知能

      Volume: 38 Pages: 730~737

    • DOI

      10.11517/jjsai.38.5_730

  • [Journal Article] 対話継続・関係構築をめざした対話ロボット研究2023

    • Author(s)
      河原 達也、越智 景子、吉川 雄一郎、酒井 和紀
    • Journal Title

      人工知能

      Volume: 38 Pages: 706~713

    • DOI

      10.11517/jjsai.38.5_706

  • [Presentation] Real-time and continuous turn-taking prediction using voice activity projection2024

    • Author(s)
      K.Inoue, B.Jiang, E.Ekstedt, T.Kawahara, and G.Skantze
    • Organizer
      Int'l Workshop Spoken Dialogue Systems (IWSDS)
    • Int'l Joint Research
  • [Presentation] Acknowledgment of emotional states: Generating validating responses for empathetic dialogue2024

    • Author(s)
      Z.H.Pang, Y.Fu, D.Lala, K.Ochi, K.Inoue, and T.Kawahara
    • Organizer
      Int'l Workshop Spoken Dialogue Systems (IWSDS)
    • Int'l Joint Research
  • [Presentation] Enhancing personality recognition in dialogue by data augmentation and heterogeneous conversational graph networks2024

    • Author(s)
      Y.Fu, H.Song, T.Zhao, and T.Kawahara
    • Organizer
      Int'l Workshop Spoken Dialogue Systems (IWSDS)
    • Int'l Joint Research
  • [Presentation] Data augmentation for robust natural language generation based on phrase alignment and sentence structure2024

    • Author(s)
      K.Yamamoto, S.Kawano, T.Kawahara, and K.Yoshino
    • Organizer
      Int'l Workshop Spoken Dialogue Systems (IWSDS)
    • Int'l Joint Research
  • [Presentation] An analysis of user behaviours for objectively evaluating spoken dialogue systems2024

    • Author(s)
      K.Inoue, D.Lala, K.Ochi, T.Kawahara, and G.Skantze
    • Organizer
      Int'l Workshop Spoken Dialogue Systems (IWSDS)
    • Int'l Joint Research
  • [Presentation] 多人数会話での置いてけぼり状況における同境遇botの存在の効果2024

    • Author(s)
      中村雅, 飯尾尊優, 西村友海, 小山虎
    • Organizer
      HAIシンポジウム2024
  • [Presentation] 二者会話において相槌が話者の支配度に与える影響の検討2024

    • Author(s)
      新保友維, 飯尾尊優, 西村友海, 小山虎
    • Organizer
      HAIシンポジウム2024
  • [Presentation] 外部情報を使用した英会話学習支援システム2024

    • Author(s)
      山口真央, 河野誠也, Garcia Contreras Angel, 吉野幸一郎, 飯尾尊優
    • Organizer
      HAIシンポジウム2024
  • [Presentation] 非タスク指向型対話における話題の深さ推定モデルの構築2024

    • Author(s)
      三野星弥,伴碧,吉川雄一郎,石黒浩
    • Organizer
      言語処理学会年次大会
  • [Presentation] アバター技術は精神科領域のコミュニケーション支援に資するか2024

    • Author(s)
      吉川雄一郎
    • Organizer
      社会精神医学会
    • Invited
  • [Presentation] Robotic backchanneling in online conversation facilitation: A cross-generational study2023

    • Author(s)
      S.Kobuki, K.Seaborn, S.Tokunaga, K.Fukumori, S.Hidaka, K.Tamura, K.Inoue, T.Kawahara, and M.Otake-Matsuura
    • Organizer
      RO-MAN
    • Int'l Joint Research
  • [Presentation] Two-stage finetuning of wav2vec 2.0 for speech emotion recognition with ASR and gender pretraining2023

    • Author(s)
      Y.Gao, C.Chu, and T.Kawahara
    • Organizer
      INTERSPEECH
    • Int'l Joint Research
  • [Presentation] Reasoning before responding: Integrating commonsense-based causality explanation for empathetic response generation2023

    • Author(s)
      Y.Fu, K.Inoue, C.Chu, and T.Kawahara
    • Organizer
      SIGDIAL
    • Int'l Joint Research
  • [Presentation] Towards objective evaluation of socially-situated conversational robots: Assessing human-likeness through multimodal user behaviors2023

    • Author(s)
      K.Inoue, D.Lala, K.Ochi, T.Kawahara, and G.Skantze
    • Organizer
      ICMI
    • Int'l Joint Research
  • [Presentation] 音声対話システムの客観評価のための ユーザのマルチモーダルなふるまいの分析2023

    • Author(s)
      井上昂治, Lala Divesh, 越智景子, 河原達也, Skantze Gabriel
    • Organizer
      人工知能学会SLUD研究会
  • [Presentation] 精神科デイケアのための傾聴対話システム:きくロボ2023

    • Author(s)
      越智景子, 井上昂治, Lala Divesh, 河原達也, 熊崎博一
    • Organizer
      人工知能学会SLUD研究会
  • [Presentation] 感情語りコーパスを用いたバリデーション応答の生成2023

    • Author(s)
      彭子豪, 傅雅慧, 越智景子, 井上昂治, 河原達也
    • Organizer
      人工知能学会SLUD研究会
  • [Presentation] AsyncMLD: Asynchronous Multi-LLM Framework for Dialogue Recommendation System2023

    • Author(s)
      N.Yoshimaru, M.Okuma, T.Iio, K.Hatano
    • Organizer
      対話ロボットコンペティション2023
  • [Presentation] A Summarized History-based Dialogue System for Amnesia-Free Prompt Updates2023

    • Author(s)
      H.Hong, H.Kawano, T.Maekawa, N.Yoshimaru, T.Iio, K.Hatano
    • Organizer
      対話ロボットコンペティション2023
  • [Presentation] 大学構内で学生がロボットと行った会話の分析2023

    • Author(s)
      米永涼香, 奥田にいな, 權倫夏, 若生麻優子, 飯尾尊優
    • Organizer
      2023年度人工知能学会全国大会(第37回)
  • [Presentation] Hospitable Guide Robot: Demonstrating the Impact of Vertical Oscillation and Looking Back Motion2023

    • Author(s)
      Iwasaki, M., Chi, Z., Masuda, K., Meneses, A., Sakai, K., Kawata, M., Ishiguro, H. and Yoshikawa, Y.
    • Organizer
      International Conference on Human-Agent Interaction
    • Int'l Joint Research
  • [Presentation] Effect of Robot Notification on Acquiring Permission to Use Personal Information2023

    • Author(s)
      Kazuki Sakai, Seiya Mitsuno, Midori Ban, Yuichiro Yoshikawa, Fumio Shimpo, Shinichiro Harata, Hiroshi Ishiguro
    • Organizer
      International Conference on Human-Agent Interaction
    • Int'l Joint Research
  • [Presentation] ロボットとの対話意欲と話題の深さの関係のモデル化2023

    • Author(s)
      三野星弥,伴碧,吉川雄一郎,石黒浩
    • Organizer
      人工知能学会全国大会
  • [Presentation] 初対面ロボットにユーザは何を話すのか?対話場面における話題の深さの検討2023

    • Author(s)
      三野星弥,伴碧,吉川雄一郎,石黒浩
    • Organizer
      ヒューマンコンピュータインタラクション研究会
  • [Presentation] 情報量に基づき共通選好に言及する対話ロボットが人間関係に及ぼす影響の評価2023

    • Author(s)
      古志野瑛元, 内田貴久, 伴碧, 酒井和紀, 吉川雄一郎, 石黒浩
    • Organizer
      人工知能学会全国大会
  • [Presentation] ロボットによる個人情報の取得同意説明のフィールド実験2023

    • Author(s)
      酒井和紀, 吉川雄一郎, 新保史生, 石黒浩
    • Organizer
      日本ロボット学会学術講演会
  • [Presentation] 複数ロボット議論における議論展開と見かけの違いによるユーザの理解度への影響の調査2023

    • Author(s)
      酒井 和紀, 光田 航, 吉川 雄一郎, 東中 竜一郎, 港 隆史, 石黒 浩
    • Organizer
      人工知能学会全国大会
  • [Presentation] シンボリック表現と身体性を融合した対話のモデルの提案2023

    • Author(s)
      西川 純平, 佐々木 康佑, 森田 純哉, Meneses Alexis, 酒井 和紀, 吉川 雄一郎
    • Organizer
      人工知能学会全国大会
  • [Presentation] 人の発達・人間関係構築を支える対話型ロボットの可能性2023

    • Author(s)
      吉川雄一郎
    • Organizer
      日本赤ちゃん学会第23回学術集会シンポジウム「教育改革に向けて:AIエージェントで数理的社会情動能力をブーストする」
    • Invited
  • [Presentation] 人と対話継続するロボット研究の展開2023

    • Author(s)
      吉川雄一郎
    • Organizer
      人工知能学会
    • Invited
  • [Presentation] 精神疾患におけるヒューマノイドロボットを用いた支援の現状と今後の課題2023

    • Author(s)
      吉川雄一郎
    • Organizer
      日本精神神経学会学術総会
    • Invited
  • [Presentation] Development of robotic communication environment toward supporting2023

    • Author(s)
      Yuichiro Yoshikawa
    • Organizer
      ASCAPAP2023
    • Int'l Joint Research / Invited

URL: 

Published: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi