Building Rapport in Social Communication Training Systems for Autism Spectrum Disorders

• Project/Area Number: 22K12151
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: Nara Institute of Science and Technology
• Principal Investigator: 田中 宏季 奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (10757834)
• Co-Investigator(Kenkyū-buntansha): 中村 哲 奈良先端科学技術大学院大学, データ駆動型サイエンス創造センター, 教授 (30263429) ; 松田 康裕 奈良県立医科大学, 医学部, 研究員 (70445063) ; 岡崎 康輔 奈良県立医科大学, 医学部, 研究員 (70736925)
• Project Period (FY): 2022-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000); Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000); Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
• Keywords: エントレインメント / ソーシャルスキルトレーニング / 心の理論 / ラポール / 仮想エージェント / 認知行動療法 / 信頼関係

Outline of Research at the Start

ラポールは、訓練を成功させるための重要な要素であり、精神科医が行う訓練でもラポールの形成が前提で進んでいる。本研究では、マルチモーダルな対話データに基づいて、精神科医の行う治療訓練に沿ったラポール構築対話システムを実現し、訓練効果を高めるための方法を提案する。本研究の学術的問いとは、「精神科医が行うラポール構築の過程をマルチモーダル測定技術、対話システムで実現できるか」を明らかにし、自閉スペクトル症における信頼関係・ラポール構築による訓練への影響を調査することである。

Outline of Annual Research Achievements

今年度は, エントレインメントの詳細な分析を目的とし, 音響的特徴量 (基本周波数とラウドネス) および韻律的特徴量 (発話速度) に焦点を絞り, 高齢者対話における臨床心理士, 介護士, 大学院生の発話におけるエントレインメントについて, 種々の条件(対話行為タグ, 割り込みの有無, 会話中の発話回数)において, 探索的に分析を行った. 結果, 割り込みの有無について, ラウドネスの最大値におけるエントレインメントの違いを統計検定 (p<0.05) により, 臨床心理士, 介護士, 大学院生の全ての場合で確認した. 加えて, その効果量の大きさについて, 介護士が最も大きく, 続いて臨床心理士, 大学院生の順となっていた. 一方, 対話行為タグや会話中の発話回数を用いた分析では, 主に介護士の発話においてのみ, エントレインメントの違いを統計検定 (p<0.05) により確認した. 本研究により, エントレインメントの分析について, 割り込みの有無や発話行為タグといった発話の分類条件は詳細な分析を可能にすることに加え, 臨床心理士や介護士, 大学院生といった違いがエントレインメントの分析の結果に影響することが分かった.エントレインメントを詳細に分析するためには, 従来の言語的及び非言語的特徴量に加え, 発話ごとの分類, 会話相手を含めた会話場面の設定や職業といった話者個人の情報などの利用が有効であると考えられる. また，ソーシャルスキルトレーニングを実施するエージェントを，本研究の知見を土台にアップデートすることを試みた．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

ラポール構築およびエントレインメントの現象理解についての研究を進めることができた。

Strategy for Future Research Activity

今後、ソーシャルスキルトレーニングや認知行動療法に対して、ラポール構築およびエントレインメントの展開、組み込みを目指している。

Research Products

• [Journal Article] 高齢者対話における音響的および韻律的エントレインメントの分析 (2023)
  • Author(s): 杉本浩之 , 田中宏季 , 中村哲
  • Journal Title: IEICE Volume: -
• [Journal Article] Multimodal Voice Activity Prediction: Turn-taking Events Detection in Expert-Novice Conversation (2023)
  • Author(s): Onishi Kazuyo、Tanaka Hiroki、Nakamura Satoshi
  • Journal Title: ACM Human Agent Interaction Volume: 23 Pages: 13-21
  • DOI: 10.1145/3623809.3623837
  • Peer Reviewed
• [Journal Article] Social Performance Rating During Social Skills Training in Adults with Autism Spectrum Disorder and Schizophrenia (2023)
  • Author(s): Miyamoto Kana、Tanaka Hiroki、Bagnou Jennifer Hamet、Prigent Elise、Clavel C?line、Martin Jean-Claude、Nakamura Satoshi
  • Journal Title: IEEE ACII Volume: 23 Pages: 1-8
  • DOI: 10.1109/aciiw59127.2023.10388083
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] An Adaptive Virtual Agent Platform for Automated Social Skills Training (2023)
  • Author(s): Saga Takeshi、Woo Jieyeon、Gerard Alexis、Tanaka Hiroki、Achard Catherine、Nakamura Satoshi、Pelachaud Catherine
  • Journal Title: ICMI Volume: 23 Pages: 109-111
  • DOI: 10.1145/3610661.3620662
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] The Validation of Automated Social Skills Training in Members of the General Population Over 4 Weeks: Comparative Study (2023)
  • Author(s): Tanaka Hiroki、Saga Takeshi、Iwauchi Kota、Honda Masato、Morimoto Tsubasa、Matsuda Yasuhiro、Uratani Mitsuhiro、Okazaki Kosuke、Nakamura Satoshi
  • Journal Title: JMIR Formative Research Volume: 7 Pages: e44857-e44857
  • DOI: 10.2196/44857
  • Peer Reviewed
• [Journal Article] Automatic evaluation-feedback system for automated social skills training (2023)
  • Author(s): Saga Takeshi、Tanaka Hiroki、Matsuda Yasuhiro、Morimoto Tsubasa、Uratani Mitsuhiro、Okazaki Kosuke、Fujimoto Yuichiro、Nakamura Satoshi
  • Journal Title: Scientific Reports Volume: 13 Issue: 1 Pages: 1-14
  • DOI: 10.1038/s41598-023-33703-0
• [Presentation] Acceptability and Trustworthiness of Virtual Agents by Effects of Theory of Mind and Social Skills Training (2023)
  • Author(s): Hiroki Tanaka, Takeshi Saga, Kota Iwauchi, Satoshi Nakamura
  • Organizer: 2023 IEEE 17th International Conference on Automatic Face and Gesture Recognition (FG)
  • Int'l Joint Research
• [Presentation] 仮想エージェントの心の理論の程度・ソーシャルスキルトレーニングがユーザの信頼性に与える影響 (2022)
  • Author(s): 田中 宏季, 佐賀 健志, 岩内 厚大, 中村 哲
  • Organizer: HIP研究会