自閉症等コミュニケーション障害の多元測定と統計モデルによる測定・支援の研究

2016 年度 実績報告書

• 研究課題/領域番号: 26540117
• 研究機関: 奈良先端科学技術大学院大学
• 研究代表者: 中村 哲 奈良先端科学技術大学院大学, 情報科学研究科, 教授 (30263429)
• 研究分担者: 岩坂 英巳 奈良県立医科大学, 医学部, 研究員 (70244712) ; 根來 秀樹 奈良教育大学, 教育学研究科, 教授 (80336867) ; サクリアニ サクティ 奈良先端科学技術大学院大学, 情報科学研究科, 助教 (00395005) ; 戸田 智基 名古屋大学, 情報基盤センター, 教授 (90403328) [辞退] ; Neubig Graham 奈良先端科学技術大学院大学, 情報科学研究科, 助教 (70633428) ; 田中 宏季 奈良先端科学技術大学院大学, 情報科学研究科, 特任助教 (10757834)
• 研究期間 (年度): 2014-04-01 – 2017-03-31
• キーワード: コミュニケーション障害の計測 / 支援技術

研究実績の概要

本研究では、コミュニケーションが苦手な児童をトレーニングする対話システムを作るため、精神科医および臨床心理士などにより使用されている認知行動療法の一種であるソーシャルスキルトレーニングの枠組みを参考とした。「自動ソーシャルスキルトレーナ」と題して、ソーシャルスキルトレーニングの過程を人間とコンピュータのアバターとの対話によって自動化するシステムの開発を実現した。自動ソーシャルスキルトレーナの設計は、ソーシャルスキルトレーニングの枠組みに沿っており、課題設定、モデリング、ロールプレイ、フィードバック、正の強化、宿題を含んでいる。ユーザが対話システム上の仮想的なアバターと音声対話していく中で、コミュニケーションスキルを訓練していく。
これまで課題設定として、上手に話を伝える訓練バッテリーを対話システムに実装した。まずモデリングのステップでは、ユーザはあらかじめ収録した、上手に話を伝える人の動画を視聴し良い点のルールを学習する。次にロールプレイとして、ユーザがアバターに向かって１分間で「最近あった楽しかった出来事」を伝える。その際、アバターは聞き役として頷きなどの反応をし、同時にユーザの音声と動画も収録する。収録したデータから、ユーザの言語・非言語的情報（声の周波数や明瞭性、１分間の単語数、６文字以上の単語割合、笑顔の頻度など）を検出し、それを標準的なモデル（モデリングで使用した話者達）と比較して、良かった点と改善点をユーザに提示する。ユーザはフィードバックを見ることによって、自分の話の伝え方について客観的なアドバイスを受けることが可能になる。これまで、大学院生および自閉スペクトラム症者（児）において本システムの訓練効果を評価し、システム使用前後における対人対話において、有意に話を伝えるスキルの向上を確認した。

研究成果

• [雑誌論文] Multimodal Automated Social Skills Training in People with Autism Spectrum Disorders (2017)
  • 著者名/発表者名: Hiroki Tanaka, Hideki Negoro, Hidemi Iwasaka, Satoshi Nakamura
  • 雑誌名: Plos One 巻: 印刷中 ページ: 印刷中
  • 査読あり / 謝辞記載あり
• [雑誌論文] Teaching Social Communication Skills through Human-Agent Interaction (2016)
  • 著者名/発表者名: Hiroki Tanaka, Sakriani Sakti, Graham Neubig, Tomoki Toda, Hideki Negoro, Hidemi Iwasaka, Satoshi Nakamura
  • 雑誌名: ACM Transactions on Interactive Intelligent Systems 巻: 6(2) ページ: pp.1-26
  • DOI: 10.1145/2937757
  • 査読あり / オープンアクセス / 謝辞記載あり
• [雑誌論文] Enhancing Event-Related Potentials Based on Maximum a Posteriori Estimation with a Spatial Correlation Prior (2016)
  • 著者名/発表者名: Hayato Maki, Tomoki Toda, Sakriani Sakti, Graham Neubig, Satoshi Nakamura
  • 雑誌名: IEICE Transactions on Information and Systems 巻: Vol. E99.D No.6 ページ: 1437-1446
  • DOI: 10.1587/transinf.2015CBP0008
  • 査読あり / オープンアクセス / 謝辞記載あり
• [学会発表] EEG計測による脳活動に基づいた映像視聴時の感情状態の追従 (2017)
  • 著者名/発表者名: 寺澤 直人, 田中 宏季, Sakriani Sakti, 中村 哲
  • 学会等名: 電子情報通信学会技術研究報告（MEとバイオサイバネティックス研究会）
  • 発表場所: 機械振興会館（東京都・港区）
  • 年月日: 2017-03-13 – 2017-03-14
• [学会発表] EEG計測による脳活動に基づいた映像視聴時の感情状態の追従 (2017)
  • 著者名/発表者名: 渡部 宏樹，田中 宏季，サクティ サクリアニ，中村 哲
  • 学会等名: 電子情報通信学会技術研究報告（MEとバイオサイバネティックス研究会）
  • 発表場所: 九州大学病院キャンパス（福岡県・福岡市）
  • 年月日: 2017-01-27 – 2017-01-28
• [学会発表] 自閉スペクトラム症による自動ソーシャルスキルトレーナの訓練効果 (2016)
  • 著者名/発表者名: 田中 宏季，根來 秀樹，岩坂 英巳，中村 哲
  • 学会等名: 電 子情報通信学会技術研究報告（福祉情報工学研究会）
  • 発表場所: 産総研臨海副都心センター（東京都・江東区）
  • 年月日: 2016-12-14 – 2016-12-15
• [学会発表] Personalized Unknown Word Detection in Non-native Language Reading using Eye Gaze (2016)
  • 著者名/発表者名: Rui Hiraoka, Hiroki Tanaka, Sakti Sakriani, Graham Neubig, Satoshi Nakamura
  • 学会等名: ACM International Conference on Multimodal Interaction (ICMI)
  • 発表場所: 日本科学未来館（東京都・江東区）
  • 年月日: 2016-11-12 – 2016-11-16
  • 国際学会
• [学会発表] 注視特徴を用いた非母語読解時の未知語検出における品詞タグの使用と個人適応の検討 (2016)
  • 著者名/発表者名: 平岡 類，田中 宏季，Sakriani Sakti，Graham Neubig，中村 哲
  • 学会等名: 電子情報通信学会技術研究報告（ヒューマン情報処理研究会）
  • 発表場所: 奈良春日野国際フォーラム（奈良県・奈良市）
  • 年月日: 2016-09-27 – 2016-09-28
• [学会発表] Eye Gaze-based Unknown Word Detection in Non-native Language Reading using SVMs and Random Forests (2016)
  • 著者名/発表者名: Rui Hiraoka, Hiroki Tanaka, Sakti Sakriani, Koichiro Yoshino, Graham Neubig, Satoshi Nakamura
  • 学会等名: International Conference of the IEEE Engineering in Medicine and Biology Society
  • 発表場所: フロリダ（米国）
  • 年月日: 2016-08-16 – 2016-08-20
  • 国際学会
• [学会発表] Automated Social Skills Training with Audiovisual Information (2016)
  • 著者名/発表者名: Hiroki Tanaka, Sakriani Sakti, Graham Neubig, Hideki Negoro, Hidemi Iwasaka, Satoshi Nakamura
  • 学会等名: International Conference of the IEEE Engineering in Medicine and Biology Society
  • 発表場所: フロリダ（米国）
  • 年月日: 2016-08-16 – 2016-08-20
  • 国際学会
• [学会発表] 注視特徴を用いたSVMによる非母語読解時の未知語検出 (2016)
  • 著者名/発表者名: 平岡 類，田中 宏季，Sakriani Sakti，吉野 幸一郎，Graham Neubig，中村 哲
  • 学会等名: 電子情報通信学会技術研究報告（ヒューマン情報処理研究会）
  • 発表場所: 沖縄産業支援センター（沖縄県・那覇市）
  • 年月日: 2016-05-18 – 2016-05-19