2022 Fiscal Year Research-status Report

生体信号と生活場面のセンシングで超重症児の気持をくみ取る認識・識別システムの構築

Research Project

Project/Area Number	19K11330
Research Institution	Kansai Medical University
Principal Investigator	佐藤春彦関西医科大学, リハビリテーション学部, 教授 (30274062)
Co-Investigator(Kenkyū-buntansha)	白石俊彦横浜国立大学, 大学院環境情報研究院, 准教授 (30361877) 二瓶美里東京大学, 大学院新領域創成科学研究科, 准教授 (20409668) 井上剛伸国立障害者リハビリテーションセンター(研究所), 研究所福祉機器開発部, 研究部長 (40360680)
Project Period (FY)	2019-04-01 – 2024-03-31
Keywords	超重症児 / コミュニケーション / パターン認識 / 行動記録
Outline of Annual Research Achievements	この研究は重度の障害を抱え、発声がなく、表情変化も乏しい児童が、他者とのコミュニケーション場面で何らかのシグナルを発しているはず、との前提に立ち、そのシグナルを生体センシング技術で捉え、本人の気持ちとして認識するシステムの構築を目指している。２０２２年度は収集した５名の対象児のデータ分析を中心に、追加のデータ収集も行いつつ進めた。その成果は１編の英語論文にまとめ、国内の学会でも発表した。概要は次の通りである。成果① 心拍数の増加は「負」の反応（痛みなど）とよく対応した：表情の乏しい４名の重度障害児において、観察した場面から「正」の反応（うれしい、楽しい）と「負」の反応（嫌、痛い）を推測し、心拍数との対応を見ると、「負」の反応で心拍数の増加を認めた。成果② 気持ちと関連する指標を人工知能（AI）で学習させると、「負」の反応は高い確率で識別できた：障害児のことをよく知る人が類推した気持ちを正解値として、心拍、目や口のわずかな動き、呼吸の深さなどの生体信号を特徴量として学習したアルゴリズムを作成した。これを用いて識別した気持ちの正解率は、７０％と高かった。成果③ 障害児のことを知らない他人は気持ちの類推が困難：対象とした障害児のことをよく知らない人が類推した気持ちの正解率は４９％であった。表情の乏しい障害児の気持ちを推し量るのは、他人には困難であり、人工知能による学習を用いた認識システムは、気持ちを読み解く有益なツールとなりえることがうかがえた。今後はリアルタイムで生体情報を収集し、タブレット上に気持ちを表示するシステムを構築し、他人とのコミュニケーションを深めることにつなげていく。
Current Status of Research Progress	Current Status of Research Progress 3: Progress in research has been slightly delayed. Reason コロナ禍で出張が制限され、対面で計測、情報を収集する機会を逸した。
Strategy for Future Research Activity	気持ち認識の基礎となるデータの収集は終えたので、分析を着実にすすめ、気持ち認識システムの改良に努める。リアルタイムで認識した気持ちがタブレット上に表示できるよう、システムの構築にも努める。また、対象児に実装し、他者とのコミュニケーションに及ぼす影響も調べる。
Causes of Carryover	コロナ禍でデータ収集、学会発表の機会が失われ、旅費、謝金、研究発表に関する費用が未使用となった。データの分析と発表に要する費用を残しており、ソフトウエアの保守、英文校正費として使用し、論文発表へとつなげる。