人間との対話継続及び関係構築のための対話知能システム

2023 年度 実績報告書

• 研究領域: 人間機械共生社会を目指した対話知能システム学
• 研究課題/領域番号: 19H05691
• 研究機関: 京都大学
• 研究代表者: 河原 達也 京都大学, 情報学研究科, 教授 (00234104)
• 研究分担者: 井上 昂治 京都大学, 情報学研究科, 助教 (10838684) ; 吉川 雄一郎 大阪大学, 大学院基礎工学研究科, 准教授 (60418530) ; 飯尾 尊優 同志社大学, 文化情報学部, 准教授 (70642958)
• 研究期間 (年度): 2019-06-28 – 2024-03-31
• キーワード: 対話知能 / 音声対話 / ロボット / マルチモーダル / 知能情報学

研究実績の概要

本研究は、特に高齢者や精神障害者とのコミュニケーションを想定して、対話を継続するためのメカニズムの解明と実現を目指して行ってきた。京都大学のグループ（河原・井上ら）では、人の話を傾聴するシステム・ロボットを構成し、共感的な応答を生成する様々な方法の研究を行った。今年度は、ユーザの欲求や感情とともに、システムの欲求や感情を推論する機構を導入したり、バリデーションと呼ばれる相手の話を受け止めて肯定する技法の検討を行った。大阪大学のグループ（吉川ら）では、複数のロボット間で発話交替をしたり，過去に対話した人に言及したりするなど、自身が置かれている社会的状況を活用した戦略によって対話展開するロボットを開発した。また、両グループとA01班の熊崎教授らと共同で、２年以上にわたり、精神科（主に統合失調症）のデイケア利用者を対象として、ロボットを用いた対話実験を継続的に実施した。
特に今年度は、複数人の人間と会話する枠組みに発展させた。これは、１名の人が話すのをもう１名とロボットが一緒に傾聴したり、ロボットが２名の人に質問・推薦を行うものである。この枠組みにより、対話感が醸成され、会話をより長く継続したり、人間関係の構築につながることができた。また、対話において他者の情報に言及することが、人間関係の構築に寄与することも示した。これらの成果から、ロボットによる対話が日常生活や公共の場で人々の感情や行動に積極的に作用し、そのウェルビーイングを向上させる有力な手段となり得ることが示唆される。

現在までの達成度 (段落)

令和5年度が最終年度であるため、記入しない。

今後の研究の推進方策

令和5年度が最終年度であるため、記入しない。

研究成果

• [雑誌論文] Agreebot introduction dialogue in human?robot interaction: improving the acceptability of robot statements on incapable robotic experiences (2024)
  • 著者名/発表者名: Mitsuno Seiya、Yoshikawa Yuichiro、Ban Midori、Ishiguro Hiroshi
  • 雑誌名: Advanced Robotics 巻: 38 ページ: 1～10
  • DOI: 10.1080/01691864.2023.2301425
  • 査読あり / オープンアクセス
• [雑誌論文] Multiparty conversation via multirobot system: incorporation of nonverbal user responses for continued conversation (2024)
  • 著者名/発表者名: Sakai Kazuki、Hsieh TingHao、Yoshikawa Yuichiro、Ishiguro Hiroshi
  • 雑誌名: Advanced Robotics 巻: 38 ページ: 1～10
  • DOI: 10.1080/01691864.2024.2326969
  • 査読あり
• [雑誌論文] 人の発達・人間関係構築を支える対話型ロボットの可能性 (2024)
  • 著者名/発表者名: 吉川雄一郎
  • 雑誌名: 心理学評論 巻: 66(3) ページ: 242-253
• [雑誌論文] Effect of attentive listening robot on pleasure and arousal change in psychiatric daycare (2023)
  • 著者名/発表者名: Ochi Keiko、Inoue Koji、Lala Divesh、Kawahara Tatsuya、Kumazaki Hirokazu
  • 雑誌名: Advanced Robotics 巻: 37 ページ: 1382～1391
  • DOI: 10.1080/01691864.2023.2257264
  • 査読あり
• [雑誌論文] Dual variational generative model and auxiliary retrieval for empathetic response generation by conversational robot (2023)
  • 著者名/発表者名: Fu Yahui、Inoue Koji、Lala Divesh、Yamamoto Kenta、Chu Chenhui、Kawahara Tatsuya
  • 雑誌名: Advanced Robotics 巻: 37 ページ: 1406～1418
  • DOI: 10.1080/01691864.2023.2270577
  • 査読あり
• [雑誌論文] Character expression of a conversational robot for adapting to user personality (2023)
  • 著者名/発表者名: Yamamoto Kenta、Inoue Koji、Kawahara Tatsuya
  • 雑誌名: Advanced Robotics 巻: 38 ページ: 256～266
  • DOI: 10.1080/01691864.2023.2285804
  • 査読あり
• [雑誌論文] Multi-robot cooperative behavior for reducing unnaturalness of starting a conversation (2023)
  • 著者名/発表者名: Iio Takamasa、Yoshikawa Yuichiro、Ishiguro Hiroshi
  • 雑誌名: Advanced Robotics 巻: 37 ページ: 1～17
  • DOI: 10.1080/01691864.2023.2290151
  • 査読あり / オープンアクセス
• [雑誌論文] Introduction of the Organized Session “Communicative Intelligence and Social Touch for Human-robot Symbiotic Society” (2023)
  • 著者名/発表者名: Shiomi Masahiro、Iio Takamasa、Yoshino Koichiro、Onishi Yuya
  • 雑誌名: Journal of Natural Language Processing 巻: 30 ページ: 1278～1284
  • DOI: 10.5715/jnlp.30.1278
  • オープンアクセス
• [雑誌論文] Expressing Robot’s Understanding of Human Preference Based on Successive Estimations during Dialog (2023)
  • 著者名/発表者名: Sakai Kazuki、Nakamura Yutaka、Yoshikawa Yuichiro、Kano Shingo、Ishiguro Hiroshi
  • 雑誌名: International Journal of Human-Computer Interaction 巻: 39 ページ: 1～22
  • DOI: 10.1080/10447318.2023.2232195
  • 査読あり
• [雑誌論文] A new group-based online job interview training program using computer graphics robots for individuals with autism spectrum disorders (2023)
  • 著者名/発表者名: Yoshikawa Yuichiro、Muramatsu Taro、Sakai Kazuki、Haraguchi Hideyuki、Kudo Azusa、Ishiguro Hiroshi、Mimura Masaru、Kumazaki Hirokazu
  • 雑誌名: Frontiers in Psychiatry 巻: 14 ページ: 1-10
  • DOI: 10.3389/fpsyt.2023.1198433
  • 査読あり / オープンアクセス
• [雑誌論文] 法律を守り・守らせるロボットの社会実装に向けた研究 (2023)
  • 著者名/発表者名: 新保 史生、吉川 雄一郎、酒井 和紀、原田 伸一朗
  • 雑誌名: 人工知能 巻: 38 ページ: 730～737
  • DOI: 10.11517/jjsai.38.5_730
• [雑誌論文] 対話継続・関係構築をめざした対話ロボット研究 (2023)
  • 著者名/発表者名: 河原 達也、越智 景子、吉川 雄一郎、酒井 和紀
  • 雑誌名: 人工知能 巻: 38 ページ: 706～713
  • DOI: 10.11517/jjsai.38.5_706
• [学会発表] Real-time and continuous turn-taking prediction using voice activity projection (2024)
  • 著者名/発表者名: K.Inoue, B.Jiang, E.Ekstedt, T.Kawahara, and G.Skantze
  • 学会等名: Int'l Workshop Spoken Dialogue Systems (IWSDS)
  • 国際学会
• [学会発表] Acknowledgment of emotional states: Generating validating responses for empathetic dialogue (2024)
  • 著者名/発表者名: Z.H.Pang, Y.Fu, D.Lala, K.Ochi, K.Inoue, and T.Kawahara
  • 学会等名: Int'l Workshop Spoken Dialogue Systems (IWSDS)
  • 国際学会
• [学会発表] Enhancing personality recognition in dialogue by data augmentation and heterogeneous conversational graph networks (2024)
  • 著者名/発表者名: Y.Fu, H.Song, T.Zhao, and T.Kawahara
  • 学会等名: Int'l Workshop Spoken Dialogue Systems (IWSDS)
  • 国際学会
• [学会発表] Data augmentation for robust natural language generation based on phrase alignment and sentence structure (2024)
  • 著者名/発表者名: K.Yamamoto, S.Kawano, T.Kawahara, and K.Yoshino
  • 学会等名: Int'l Workshop Spoken Dialogue Systems (IWSDS)
  • 国際学会
• [学会発表] An analysis of user behaviours for objectively evaluating spoken dialogue systems (2024)
  • 著者名/発表者名: K.Inoue, D.Lala, K.Ochi, T.Kawahara, and G.Skantze
  • 学会等名: Int'l Workshop Spoken Dialogue Systems (IWSDS)
  • 国際学会
• [学会発表] 多人数会話での置いてけぼり状況における同境遇botの存在の効果 (2024)
  • 著者名/発表者名: 中村雅, 飯尾尊優, 西村友海, 小山虎
  • 学会等名: HAIシンポジウム2024
• [学会発表] 二者会話において相槌が話者の支配度に与える影響の検討 (2024)
  • 著者名/発表者名: 新保友維, 飯尾尊優, 西村友海, 小山虎
  • 学会等名: HAIシンポジウム2024
• [学会発表] 外部情報を使用した英会話学習支援システム (2024)
  • 著者名/発表者名: 山口真央, 河野誠也, Garcia Contreras Angel, 吉野幸一郎, 飯尾尊優
  • 学会等名: HAIシンポジウム2024
• [学会発表] 非タスク指向型対話における話題の深さ推定モデルの構築 (2024)
  • 著者名/発表者名: 三野星弥，伴碧，吉川雄一郎，石黒浩
  • 学会等名: 言語処理学会年次大会
• [学会発表] アバター技術は精神科領域のコミュニケーション支援に資するか (2024)
  • 著者名/発表者名: 吉川雄一郎
  • 学会等名: 社会精神医学会
  • 招待講演
• [学会発表] Robotic backchanneling in online conversation facilitation: A cross-generational study (2023)
  • 著者名/発表者名: S.Kobuki, K.Seaborn, S.Tokunaga, K.Fukumori, S.Hidaka, K.Tamura, K.Inoue, T.Kawahara, and M.Otake-Matsuura
  • 学会等名: RO-MAN
  • 国際学会
• [学会発表] Two-stage finetuning of wav2vec 2.0 for speech emotion recognition with ASR and gender pretraining (2023)
  • 著者名/発表者名: Y.Gao, C.Chu, and T.Kawahara
  • 学会等名: INTERSPEECH
  • 国際学会
• [学会発表] Reasoning before responding: Integrating commonsense-based causality explanation for empathetic response generation (2023)
  • 著者名/発表者名: Y.Fu, K.Inoue, C.Chu, and T.Kawahara
  • 学会等名: SIGDIAL
  • 国際学会
• [学会発表] Towards objective evaluation of socially-situated conversational robots: Assessing human-likeness through multimodal user behaviors (2023)
  • 著者名/発表者名: K.Inoue, D.Lala, K.Ochi, T.Kawahara, and G.Skantze
  • 学会等名: ICMI
  • 国際学会
• [学会発表] 音声対話システムの客観評価のための ユーザのマルチモーダルなふるまいの分析 (2023)
  • 著者名/発表者名: 井上昂治, Lala Divesh, 越智景子, 河原達也, Skantze Gabriel
  • 学会等名: 人工知能学会SLUD研究会
• [学会発表] 精神科デイケアのための傾聴対話システム：きくロボ (2023)
  • 著者名/発表者名: 越智景子, 井上昂治, Lala Divesh, 河原達也, 熊崎博一
  • 学会等名: 人工知能学会SLUD研究会
• [学会発表] 感情語りコーパスを用いたバリデーション応答の生成 (2023)
  • 著者名/発表者名: 彭子豪, 傅雅慧, 越智景子, 井上昂治, 河原達也
  • 学会等名: 人工知能学会SLUD研究会
• [学会発表] AsyncMLD: Asynchronous Multi-LLM Framework for Dialogue Recommendation System (2023)
  • 著者名/発表者名: N.Yoshimaru, M.Okuma, T.Iio, K.Hatano
  • 学会等名: 対話ロボットコンペティション2023
• [学会発表] A Summarized History-based Dialogue System for Amnesia-Free Prompt Updates (2023)
  • 著者名/発表者名: H.Hong, H.Kawano, T.Maekawa, N.Yoshimaru, T.Iio, K.Hatano
  • 学会等名: 対話ロボットコンペティション2023
• [学会発表] 大学構内で学生がロボットと行った会話の分析 (2023)
  • 著者名/発表者名: 米永涼香, 奥田にいな, 權倫夏, 若生麻優子, 飯尾尊優
  • 学会等名: 2023年度人工知能学会全国大会（第37回）
• [学会発表] Hospitable Guide Robot: Demonstrating the Impact of Vertical Oscillation and Looking Back Motion (2023)
  • 著者名/発表者名: Iwasaki, M., Chi, Z., Masuda, K., Meneses, A., Sakai, K., Kawata, M., Ishiguro, H. and Yoshikawa, Y.
  • 学会等名: International Conference on Human-Agent Interaction
  • 国際学会
• [学会発表] Effect of Robot Notification on Acquiring Permission to Use Personal Information (2023)
  • 著者名/発表者名: Kazuki Sakai, Seiya Mitsuno, Midori Ban, Yuichiro Yoshikawa, Fumio Shimpo, Shinichiro Harata, Hiroshi Ishiguro
  • 学会等名: International Conference on Human-Agent Interaction
  • 国際学会
• [学会発表] ロボットとの対話意欲と話題の深さの関係のモデル化 (2023)
  • 著者名/発表者名: 三野星弥，伴碧，吉川雄一郎，石黒浩
  • 学会等名: 人工知能学会全国大会
• [学会発表] 初対面ロボットにユーザは何を話すのか?対話場面における話題の深さの検討 (2023)
  • 著者名/発表者名: 三野星弥，伴碧，吉川雄一郎，石黒浩
  • 学会等名: ヒューマンコンピュータインタラクション研究会
• [学会発表] 情報量に基づき共通選好に言及する対話ロボットが人間関係に及ぼす影響の評価 (2023)
  • 著者名/発表者名: 古志野瑛元， 内田貴久， 伴碧， 酒井和紀， 吉川雄一郎， 石黒浩
  • 学会等名: 人工知能学会全国大会
• [学会発表] ロボットによる個人情報の取得同意説明のフィールド実験 (2023)
  • 著者名/発表者名: 酒井和紀, 吉川雄一郎, 新保史生, 石黒浩
  • 学会等名: 日本ロボット学会学術講演会
• [学会発表] 複数ロボット議論における議論展開と見かけの違いによるユーザの理解度への影響の調査 (2023)
  • 著者名/発表者名: 酒井 和紀, 光田 航, 吉川 雄一郎, 東中 竜一郎, 港 隆史, 石黒 浩
  • 学会等名: 人工知能学会全国大会
• [学会発表] シンボリック表現と身体性を融合した対話のモデルの提案 (2023)
  • 著者名/発表者名: 西川 純平, 佐々木 康佑, 森田 純哉, Meneses Alexis, 酒井 和紀, 吉川 雄一郎
  • 学会等名: 人工知能学会全国大会
• [学会発表] 人の発達・人間関係構築を支える対話型ロボットの可能性 (2023)
  • 著者名/発表者名: 吉川雄一郎
  • 学会等名: 日本赤ちゃん学会第23回学術集会シンポジウム「教育改革に向けて：AIエージェントで数理的社会情動能力をブーストする」
  • 招待講演
• [学会発表] 人と対話継続するロボット研究の展開 (2023)
  • 著者名/発表者名: 吉川雄一郎
  • 学会等名: 人工知能学会
  • 招待講演
• [学会発表] 精神疾患におけるヒューマノイドロボットを用いた支援の現状と今後の課題 (2023)
  • 著者名/発表者名: 吉川雄一郎
  • 学会等名: 日本精神神経学会学術総会
  • 招待講演
• [学会発表] Development of robotic communication environment toward supporting (2023)
  • 著者名/発表者名: Yuichiro Yoshikawa
  • 学会等名: ASCAPAP2023
  • 国際学会 / 招待講演