• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2016 Fiscal Year Research-status Report

発達障害者のためのコミュニケーションスキル訓練技術の研究

Research Project

Project/Area Number 16K16172
Research InstitutionNara Institute of Science and Technology

Principal Investigator

田中 宏季  奈良先端科学技術大学院大学, 情報科学研究科, 特任助教 (10757834)

Project Period (FY) 2016-04-01 – 2018-03-31
Keywordsソーシャルスキルトレーニング / 自閉スペクトラム症 / 医療情報処理
Outline of Annual Research Achievements

我々はソーシャルスキルトレーニング(SST)の過程を人間と対話エージェントの会話によってマルチモーダルで自動化する研究を進めている。これまでの自動ソーシャルスキルトレーナは、健常者の成人(大学院生)での訓練効果を検証したのみであった。今年度、自閉スペクトラム症者(ASD)での自動ソーシャルスキルトレーナの訓練効果を調査し、その有効性を評価した。10 名(年齢7-19 歳,男性)の自閉スペクトラム症の研究協力者がシステムを使用し、SSTの専門家である臨床心理士がシステム使用前後での話の全体的なスキルおよび各非言語的情報の適切さをレーティングした。結果として、システム使用により話の全体的なスキルの改善を確認し、また話の全体的なスキルが種々の非言語的情報の適切さと高い相関関係にあることを確認した。
システムの改良点として、今年度は、大学院生において使用されたシステムを児童を含んだ自閉スペクトラム症者へ応用するという観点から、システムの見直しを実施し、SST を普段より行なっているトレーナとの相談および予備的な実験を重ねてきた。幾つかの予備調査と議論の上、特徴量数を少なくし、単純に認知不可の少ない特徴抽出およびフィードバックを行うこととした。最終的に、以下の5 つの特徴量を選定した。これについては研究代表者の先行研究により有意差の生じた特徴量としている。抽出された特徴量について以下にまとめる:1) 音声のパワー:音声パワー値の平均を抽出した、2) WPM:ユーザが1 分間発話をするため、その間の単語数を抽出した、3) 6 文字以上の単語割合:全発話から6 文字以上の単語を使用していた割合を抽出した、4) 笑顔の頻度:全フレームに対する笑顔の割合を抽出した、5) 下を向く頻度:ピッチの平均値を抽出した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

ソーシャルスキルトレーニングに関しての枠組み(課題設定、モデリング、ロールプレイ、フィードバック、正の強化、宿題)を参考にして、自動ソーシャルスキルトレーナを発展させることができた。コミュニケーションスキルの訓練効果を測定するに当たって、本学倫理委員会での承認の上、自閉スペクトラム症者を計10名募集し実験を進めた。本システムを使うことにより、従来の大学院生による結果と同様に、有意にソーシャルスキルが改善したことがわかった。なお、コミュニケーションの評価は、臨床心理士が専門的に付与している。これらの成果は、学術雑誌への投稿を行い、現在査読中である。
しかしながら、より対話的なシステムを開発するに当たって、当初の予定であるSSTの幅広いコミュニケーションデータを収集し、そこから自閉スペクトラム症者と健常者の対人コミュニケーションにおける応答モデルを構築することにはまだ至っていない。また、視線情報を利用したフィードバックについても、システム化するには至っていない。これに関しては、これまでに視線情報を収録したデータがあることから、解析を進めていく予定である。

Strategy for Future Research Activity

収録した自閉スペクトラム症者および大学院生の対システム発話・対人発話を分析することにより、視線を含めたコミュニケーションのモデルを構築していくことを検討している。
今年度は、自閉スペクトラム症者におけるシステムの訓練効果を確認することができたため、自動ソーシャルスキルトレーナをWebベースでiOSアプリとして夏頃までに公開をする予定である。それに伴い、アプリを使用した実環境での、訓練(1週間)の前後、およびフォローアップでの効果評価を行う予定である。
また、その他の課題である「聞くスキル」にも焦点を当て、SSTの枠組みに沿った聞き方についてデータ収録を進め、専門家による評価を付与していく。

Causes of Carryover

本年度において、SST中のコミュニケーションデータを収録するには至らず、収録に伴う謝金などの費用が必要なくなったため。

Expenditure Plan for Carryover Budget

次年度において、追加でコミュニケーションデータの収録を行うため、謝金として使用する。

  • Research Products

    (7 results)

All 2017 2016

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Acknowledgement Compliant: 2 results,  Open Access: 1 results) Presentation (5 results) (of which Int'l Joint Research: 3 results)

  • [Journal Article] Multimodal Automated Social Skills Training in People with Autism Spectrum Disorders2017

    • Author(s)
      Hiroki Tanaka, Hideki Negoro, Hidemi Iwasaka, Satoshi Nakamura
    • Journal Title

      Plos One

      Volume: not Pages: not

    • Peer Reviewed / Open Access / Acknowledgement Compliant
  • [Journal Article] Teaching Social Communication Skills through Human-Agent Interaction2016

    • Author(s)
      Hiroki Tanaka, Sakriani Sakti, Graham Neubig, Tomoki Toda, Hideki Negoro, Hidemi Iwasaka, Satoshi Nakamura
    • Journal Title

      ACM Transactions on Interactive Intelligent Systems

      Volume: 6 Pages: 1-26

    • DOI

      10.1145/2937757

    • Peer Reviewed / Acknowledgement Compliant
  • [Presentation] EEG計測による脳活動に基づいた映像視聴時の感情状態の追従2017

    • Author(s)
      寺澤 直人, 田中 宏季, Sakriani Sakti, 中村 哲
    • Organizer
      電子情報通信学会技術研究報告
    • Place of Presentation
      東京都港区、機械振興会館
    • Year and Date
      2017-03-13 – 2017-03-14
  • [Presentation] 音声知覚時における脳神経活動の位相パターンとSVMに基づく日本語音声刺激の識別2017

    • Author(s)
      渡部 宏樹,田中 宏季,サクティ サクリアニ,中村 哲
    • Organizer
      電子情報通信学会技術研究報告,MBE2016-71
    • Place of Presentation
      福岡県福岡市、九州大学病院キャンパス
    • Year and Date
      2017-01-27 – 2017-01-28
  • [Presentation] Personalized Unknown Word Detection in Non-native Language Reading using Eye Gaze2016

    • Author(s)
      Rui Hiraoka, Hiroki Tanaka, Sakti Sakriani, Graham Neubig, Satoshi Nakamura
    • Organizer
      ACM International Conference on Multimodal Interaction
    • Place of Presentation
      Tokyo, Japan
    • Year and Date
      2016-11-12 – 2016-11-16
    • Int'l Joint Research
  • [Presentation] Automated Social Skills Training with Audiovisual Information2016

    • Author(s)
      Hiroki Tanaka, Sakriani Sakti, Graham Neubig, Hideki Negoro, Hidemi Iwasaka, Satoshi Nakamura
    • Organizer
      International Conference of the IEEE Engineering in Medicine and Biology Society
    • Place of Presentation
      Orland, Florida, USA
    • Year and Date
      2016-08-16 – 2016-08-20
    • Int'l Joint Research
  • [Presentation] Eye Gaze-based Unknown Word Detection in Non-native Language Reading using SVMs and Random Forests2016

    • Author(s)
      Rui Hiraoka, Hiroki Tanaka, Sakti Sakriani, Graham Neubig, Satoshi Nakamura
    • Organizer
      International Conference of the IEEE Engineering in Medicine and Biology Society
    • Place of Presentation
      Orland, Florida, USA
    • Year and Date
      2016-08-16 – 2016-08-20
    • Int'l Joint Research

URL: 

Published: 2018-01-16  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi