• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2022 Fiscal Year Annual Research Report

New IoT-Based Communication Support System for Children with Severe Multiple Disabilities

Research Project

Project/Area Number 20H01710
Research InstitutionWaseda University

Principal Investigator

巖淵 守  早稲田大学, 人間科学学術院, 教授 (80335710)

Co-Investigator(Kenkyū-buntansha) 中邑 賢龍  東京大学, 先端科学技術研究センター, 特任研究員 (70172400)
赤松 裕美  東京大学, 先端科学技術研究センター, 特任助教 (20934243)
青木 高光  独立行政法人国立特別支援教育総合研究所, 情報・支援部, 主任研究員 (40846458)
松田 英子  東京大学, 大学院情報学環・学際情報学府, 特任助教 (40761630)
Project Period (FY) 2020-04-01 – 2023-03-31
Keywords重度・重複障害 / コミュニケーション / AAC / IoT / 機械学習
Outline of Annual Research Achievements

最終年度では、前年度までに開発した観察支援システムを用いて、新たに4人の重度・重複障害のある子どもたちについて、彼らの視覚・聴覚・触覚刺激に対する反応を評価した。これまで振動刺激によって自己刺激行動が収まることが確認されている子どもに対して、AIのトラッキング機能を用いて顔や手など、体の部位ごとの動きのデータを取得し、それをTransfer Entropyを用いた時系列解析によって刺激との因果関係を分析した。その結果、この子どもの振動刺激と腕の動きに有意な関係性があることを確認することができた。また、別の児童・生徒についても、視覚刺激や聴覚刺激の提示が、顔や手の動きの変化に関係していることが、このシステムを利用した同様の解析によって示された。以上の結果から、開発したシステムが、重度・重複障害児に対する実態把握を支援するツールとして有効に活用できることが示された。
特に高い精度でデータ取得が可能な顔の動きの認識ついては、その動きをスイッチ操作として出力できる機能を追加し、顔の動きに合わせて視覚・聴覚・触覚刺激をフィードバックすることを可能にした。この機能は、離れた位置に設置した端末のカメラで様々な顔の動きを自動的に捉えて出力でき、物理的なスイッチの装着も不要である。併せて、対象となる子どもが生み出せる動きの幅や端末設置時の顔の向きに合わせて認識の感度を調整できる機能、および不随意運動などに伴う誤動作を防ぐための繰り返し等のタイミングを調整する機能を追加した。今後これらの機能を対照児の実態に合わせて調整・活用することで、周囲とのやりとりにつながる随意的な反応をより高めていくことが期待される。

Research Progress Status

令和4年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和4年度が最終年度であるため、記入しない。

  • Research Products

    (6 results)

All 2023 2022 Other

All Int'l Joint Research (1 results) Journal Article (2 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (2 results) (of which Int'l Joint Research: 1 results) Remarks (1 results)

  • [Int'l Joint Research] University of Minnesota Duluth(米国)

    • Country Name
      U.S.A.
    • Counterpart Institution
      University of Minnesota Duluth
  • [Journal Article] Time Series Analyses of the Responses to Sensory Stimuli of Children with Severe and Multiple Disabilities2022

    • Author(s)
      Matsuda, E., Takenaga, T., Iwabuchi, M., and Nakamura, K.
    • Journal Title

      Journal of Robotics and Mechatronics

      Volume: 34 Pages: 726-738

    • DOI

      10.20965/jrm.2022.p0726

    • Peer Reviewed / Open Access
  • [Journal Article] 機械学習とカメラを用いた重度障害のある人の随意運動を捉えるインタフェースの開発2022

    • Author(s)
      小宮山正晴,巖淵 守,赤松裕美,堀江 新,中邑賢龍
    • Journal Title

      ヒューマンインタフェースシンポジウム2022論文集

      Volume: - Pages: 373-376

  • [Presentation] FaceSwitch: a new AI-based face-tracking app for switch users to support their alternative communication and environmental control2023

    • Author(s)
      Iwabuchi, M., Nakamura, K., Takagi, M., and Mizuko, M.
    • Organizer
      The 41st Annual Closing the Gap Conference
    • Int'l Joint Research
  • [Presentation] 顔スイッチ ~AIによる顔のトラッキング機能を利用した新たなスイッチアプリの開発~2023

    • Author(s)
      巖淵 守,赤松裕美,中邑賢龍,髙木 基
    • Organizer
      第37回リハ工学カンファレンス
  • [Remarks] 巖淵研究室ホームページ

    • URL

      https://iwalab.jp/

URL: 

Published: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi