深層学習により実現する重症心身障害児者の欲求解釈・代行システムの開発

• Project/Area Number: 23K17292
• Research Category: Grant-in-Aid for Challenging Research (Pioneering)
• Allocation Type: Multi-year Fund
• Review Section: Medium-sized Section 9:Education and related fields
• Research Institution: Ehime University
• Principal Investigator: 苅田 知則 愛媛大学, 教育学部, 教授 (40363189)
• Project Period (FY): 2023-06-30 – 2027-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥25,740,000 (Direct Cost: ¥19,800,000、Indirect Cost: ¥5,940,000); Fiscal Year 2026: ¥7,670,000 (Direct Cost: ¥5,900,000、Indirect Cost: ¥1,770,000); Fiscal Year 2025: ¥7,280,000 (Direct Cost: ¥5,600,000、Indirect Cost: ¥1,680,000); Fiscal Year 2024: ¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000); Fiscal Year 2023: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000)
• Keywords: 重症心身障害 / 欲求解釈・代行システム / 深層学習によるパターン認識 / 支援機器 / コミュニケーションエイド / 障害者の生涯学習の推進 / 欲求推測システム / パターン認識

Outline of Research at the Start

本研究においては，支援者が重症心身障害児者の表情等から欲求を推測する「聞き手効果段階」の意思疎通を通して，重心児者の欲求を推測している。その欲求推測を自動化する「重心児者対象の欲求推測システム」の精緻化と実用化を目指す。重心児者固有の身体運動軌跡や生理反応をパターン認識するためのアルゴリズムを精緻化し，パターン認識した重心児者の反応と背景情報等から，重心児者の欲求/意図を推測し代行するシステムを開発/実用化する。

Outline of Annual Research Achievements

2023年度は，4か年の研究プロジェクトである本研究の初年度となる。
重症心身障害児者（以下，重心児者）は，発話/運動機能に重度の障害があるために，自らの欲求/意図を言葉で伝達・実行ができないことから，支援者が，重心児者がいる場所や時間等の背景情報を加味して推測し，反応を確認しながら実行/試行錯誤する「聞き手効果段階の欲求推測」を行なっている。本研究は，支援者が行っている「聞き手効果段階の欲求推測」を「AI搭載カメラや生理反応測定装置から重心児者固有のパターンを認識し，深層学習を用いて背景情報等から欲求/意図を自動的に推測する」形に置換し「重心児者対象の欲求推測システム」を開発/実用化を目指している。
2023年度は、①重心児者が主体的に身体運動を表出しやすい環境の条件を明確にする、②当該環境下で、重心児者の身体運動軌跡のデータ収集を行った。①について、福祉機器として市販されている空間ユニットの調査を行い、その空間ユニットによって実現される環境条件（照度・騒音等）を計測した。②については、AI搭載カメラ (Azure Kinect、Intel RealSense等)を用いて，重心児者の身体動作軌跡を正規化して蓄積し，パターン分類した。その上で、生理反応との連結の可能性について検証を加えた。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

課題や作業の性質により進捗に一定のばらつきはあるが，全体として総合的に判断した場合，おおむね順調に進展している。
本研究の主たる対象となる重心児者からの身体運動軌跡のデータ収集に関して，コロナウイルス感染症を含めた感染症対策により身体的接触には制約されることが多かったが，感染状況の推移を注視しつつ可能な範囲でデータ収集を行った。また，得られたデータからユーザー固有の身体運動軌跡を抽出する方法の開発を進めた。

Strategy for Future Research Activity

2023年度の研究成果を受けて、2024年度には生理反応のデータ収集・パターン解析を行う。生理反応検出装置(MCTOS FX)により測定される重心児者固有の生理反応を蓄積し，パターン解析の信頼性を向上させる。研究代表者らの先行研究に加え，本研究期間中において，のべ総数500例を超えるデータを蓄積し，パターン解析の信頼性を高める。