2021 Fiscal Year Annual Research Report
New IoT-Based Communication Support System for Children with Severe Multiple Disabilities
| Project/Area Number |
20H01710
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
巖淵 守 早稲田大学, 人間科学学術院, 教授 (80335710)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中邑 賢龍 東京大学, 先端科学技術研究センター, 特任研究員 (70172400)
青木 高光 独立行政法人国立特別支援教育総合研究所, 研修事業部, 主任研究員 (40846458)
松田 英子 東京大学, 大学院情報学環・学際情報学府, 特任助教 (40761630)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 重度・重複障害 / コミュニケーション / AAC / IoT / 機械学習 |
|---|
| Outline of Annual Research Achievements |
二年目である今年度は、初年度の結果を基に、視覚・聴覚・触覚刺激を提示しながら重度・重複障害児の反応の変化を観察するプロトタイプシステムの改良を進めた。特に対象となる子どもたちの反応の時間的変化やパターンを正確に捉えることを目指して、顔や体の動きをタブレット端末のカメラを用いてトラッキングできる機械学習モデルをプロトタイプシステムに追加し、顔の向き、口や目の開き具合、手や腕の動き等を個別に捉えることを可能とした。併せて、反応の定量的データの分析を可能とする機能強化を図った。具体的には、提示された刺激と重度・重複障害児の反応の関係性を評価するためのTransfer Entropyを用いた時系列解析の機能を追加した。
改良したプロトタイプシステムの有効性を検証するため、4人の重度・重複障害のある子どもに対して、観察者が光や音、振動刺激を提示し、その時の彼らの動きの変化を捉える実験を実施した。これにより、無介入時と振動刺激提示時の反応の違いを捉え、また、記録された動きのデータの時系列解析により刺激と反応の間の因果関係が認められるなど、先行研究で示唆された事象と一致する結果を確認することができた。また、このプロトタイプシステムを用いることで、目視による観察では気づかなかった反応を見出すことができたケースも一部に見られた。しかし、実態把握に向けては、支援の現場における適切かつ実施可能な実験条件についてのさらなる議論が求められ、そのためにも今後、刺激提示を自動化することが重要となることが確認された。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
新型コロナウィルス感染防止への配慮が最大限に求められる重度・重複障害児を対象にした実験については、本研究メンバーが学校や施設に立ち入る機会が制限されたことから、その実施に遅れが生じた。実地での直接的な観察実験が困難なケースでは、代替方法として刺激提示を行った時の対象児の様子を録画し、そのビデオを開発したプロトタイプシステムにて分析するなどの対応を採用した。また、新型コロナウィルスの感染拡大による影響に伴う電子部品の不足により刺激提示装置の開発が遅れ、そのために実験の実施にも遅延が生じた。
|
| Strategy for Future Research Activity |
コロナ禍の影響に伴い開発が遅れていた、対象児の反応のタイミングに合わせて視覚・聴覚・触覚刺激を自動的にフィードバックする機能を実装する。この刺激の自動提示機能を用いて得られた重度・重複障害児の動きのデータに対してTransfer Entropyによる時系列解析を行い、各対象児の実態把握に対するシステムの有効性を検証する。さらに、彼らの微細な運動をいかにして刺激探索行動や因果関係理解に結びつけていくかなど、重度・重複障害児のコミュニケーション支援に向けたシステムの活用法を事例とともに提案することを目指す。そのためにも最重度の子どもに事例を絞り込んで研究を進めながら、刺激に対する彼らの反応についての確率論的な分析の精度向上に向けた検討を進めていく。併せて、支援の現場における実利用に向けて重要となるプライバシーへの配慮や今後の方向性としてさらなるAIの利用の可能性についての検討も交えて研究成果をまとめる。
|
| Remarks |
巖淵研究室ホームページ
https://iwalab.jp
|
