• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2018 Fiscal Year Research-status Report

発達障害児のコミュニケーション訓練対話システムの研究

Research Project

Project/Area Number 18K11437
Research InstitutionNara Institute of Science and Technology

Principal Investigator

田中 宏季  奈良先端科学技術大学院大学, 先端科学技術研究科, 助教 (10757834)

Co-Investigator(Kenkyū-buntansha) 中村 哲  奈良先端科学技術大学院大学, データ駆動型サイエンス創造センター, 教授 (30263429)
岩坂 英巳  奈良県立医科大学, 医学部, 研究員 (70244712)
根來 秀樹  奈良教育大学, 教職開発講座, 教授 (80336867)
Project Period (FY) 2018-04-01 – 2021-03-31
Keywords自閉スペクトラム症 / コミュニケーションスキル / 音声処理 / 画像処理 / 音声対話
Outline of Annual Research Achievements

我々は、基本コミュニケーションが困難である発達障害児・者を対象に「自動SST」と題して、ソーシャルスキルトレーニング(以下、SST)の過程の一部を人間と対話エージェントの会話によって自動化する研究を進めている。自動SSTはノートPCで動作し、どこにいてもSSTの基本部分を受けることが可能になる。システムは、音声・言語・画像情報を認識し、ユーザに即時のフィードバックを行う。システムの設計は、従来のステップ方式の枠組みに沿っており、課題設定、モデリング、ロールプレイ、フィードバック、正の強化を含んでいる。本年度では、新たに「話を聞くスキル」を課題として取り上げた。

本研究は、奈良先端科学技術大学院大学の倫理委員会の承認を受け実施されている。研究協力者に、研究目的、方法、結果発表について文書で説明し、同意を得た。
27名の大学院生 (女性6名、男性21名, 年齢平均25.1歳 (SD: 2.13))が研究協力者として参加した。対話エージェントが話している時の、協力者の聞いている様子を収録し、臨床心理士2名による動画評価を行なった。収録の際、眼球運動計測装置により協力者の注視領域を記録した。また対人応答性尺度とTen Item Personality Inventoryの取得も行った。

うなずきの回数および発話の回数を合計した値と、聞くスキルの評価値に相関係数0.59の関係性が見られた。また重回帰による聞くスキルの線形推定モデルを作成し、26名でのモデル学習および1名の予測における交差検証を行い、実測値と予測値において相関係数0.38 (p<0.05)で予測が可能であることを示した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本年度では、話を聞くスキルに関して新たにスキルを拡張することができた。また、未だ対外発表はしていないが、医療指揮者の行うSSTのデータを収集することができた。来年度以降にデータの詳細な分析、および対話のモデル化を進める予定である。

Strategy for Future Research Activity

人間の行うSSTデータの詳細な分析、および対話のモデル化を進める予定である。また、脳活動を含めた介入効果の測定、中長期的な訓練効果に関しても、実験デザインの設計、倫理承認を進めていく予定である。

Causes of Carryover

本年度は、SSTのデータ収集を小規模単位で行ったため、謝金などの支払いが少額となったため。次年度以降にこれらの研究を進めて行く予定である。

  • Research Products

    (9 results)

All 2019 2018

All Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 3 results) Presentation (6 results) (of which Int'l Joint Research: 6 results)

  • [Journal Article] Electroencephalogram-Based Single Trial Detection of Language Expectation Violations in Listening to Speech2019

    • Author(s)
      Hiroki Tanaka, Hiroki Watanabe, Hayato Maki, Sakti Sakriani, Satoshi Nakamura
    • Journal Title

      Frontiers in Computational Neuroscience

      Volume: 13 Pages: 1-11

    • DOI

      10.3389/fncom.2019.00015

    • Peer Reviewed / Open Access
  • [Journal Article] Neural Oscillation-based Classification of Japanese Spoken Sentences during Speech Perception2019

    • Author(s)
      Hiroki Watanabe, Hiroki Tanaka, Sakriani Sakti, Satoshi Nakamura
    • Journal Title

      IEICE transactions on Information and Systems

      Volume: E102.D, 2 Pages: 383-391

    • DOI

      10.1587/transinf.2018EDP7293

    • Peer Reviewed / Open Access
  • [Journal Article] Quality Prediction of Synthesized Speech Based on Tensor Structured EEG Signals2018

    • Author(s)
      Hayato Maki, Sakriani Sakti, Hiroki Tanaka, Satoshi Nakamura
    • Journal Title

      PloS One

      Volume: 13(6) Pages: 1-13

    • DOI

      10.1371/journal.pone.0193521

    • Peer Reviewed / Open Access
  • [Presentation] Listening Skills Assessment through Computer Agents2018

    • Author(s)
      Hiroki Tanaka, Hideki Negoro, Hidemi Iwasaka, Satoshi Nakamura
    • Organizer
      ACM International Conference on Multimodal Interaction (ICMI)
    • Int'l Joint Research
  • [Presentation] Detection of dementia from responses to atypical questions asked by embodied conversational agents2018

    • Author(s)
      Tsuyoki Ujiro, Hiroki Tanaka, Hiroyoshi Adachi, Hiroaki Kazui, Manabu Ikeda, Takashi Kudo, Satoshi Nakamura
    • Organizer
      Interspeech
    • Int'l Joint Research
  • [Presentation] Identifying Dementia Patients based on Behavioral Markers in Human-Avatar Interaction2018

    • Author(s)
      Tsuyoki Ujiro, Hiroki Tanaka, Hiroyoshi Adachi, Hiroaki Kazui, Manabu Ikeda, Takashi Kudo, Satoshi Nakamura
    • Organizer
      World Federation of Societies of Biological Psychiatry (WFSBP)
    • Int'l Joint Research
  • [Presentation] Single-trial Detection of Semantic Anomalies from EEG during Listening to Spoken Sentences2018

    • Author(s)
      Hiroki Tanaka, Hiroki Watanabe, Hayato Maki, Sakriani Sakti, Satoshi Nakamura
    • Organizer
      International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC)
    • Int'l Joint Research
  • [Presentation] Prediction of Depressive Tendency from Multidimensional Health Data Collected through Crowdsourcing2018

    • Author(s)
      Shiori Yamaguchi, Hiroki Tanaka, Hayato Maki, Shigehiko Kanaya, Nobutaka Suzuki, Satoshi Nakamura,
    • Organizer
      International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC)
    • Int'l Joint Research
  • [Presentation] Graph regularized tensor factorization for single-trial EEG analysis2018

    • Author(s)
      Hayato Maki, Hiroki Tanaka, Sakriani Sakti, Satoshi Nakamura
    • Organizer
      IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
    • Int'l Joint Research

URL: 

Published: 2019-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi