2021 Fiscal Year Research-status Report
重度重複障害児のコミュニケーション獲得性に向けた支援者支援機械学習システムの試作
| Project/Area Number |
19K11417
|
|---|
| Research Institution | Kagawa University |
|---|
Principal Investigator |
宮崎 英一 香川大学, 教育学部, 教授 (30253248)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
坂井 聡 香川大学, 教育学部, 教授 (90403766)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 障害者支支援 / 重度重複 / インタフェース / 機械学習 / ディープラーニング |
|---|
| Outline of Annual Research Achievements |
従来、2つ以上の障害を併せ持つ重度重複障害者とのコミュニケーションは、長年の経験を積んだ支援者においてもその意図の理解度が不明な場合が多く、経験の浅い支援者では正確なコミュニケーションの確立が困難であった。そこで従来の人間対人間のコミュニケーションを基礎とし、WEBカメラを用いて撮影された表情等の非言語的な感情パターン認識と腕や指の動作を記録したモーションヒストリー動画にディープラーニング・アルゴリズムを用いた意図性抽出を行う。
これらの結果から重度重複障害者のコミュニケーションにおける基礎的な意図性（例：はい、いいえ、好き、嫌い等の感情）を抽出し、従来の人間対人間では困難であったコミュニケーションの質を高める支援者サポートシステムを構築する事を目的とした。
重度重複障害者の方の手や指の動作（モーション）が、自身の意思によるものか、あるいは不随意運動に伴う意思性を持たないものかという判別は人間では客観的に判断困難である。これを客観的に評価するため、加速度センサやWEBカメラで撮影した動画にオプティカルフロー・アルゴリズムを用いてコミュニケーション中の手や指先の運動特性（モーションヒストリー）を測定していたが、測定データからは人間の主観だけでは優位な判別性を見つけることはできなかった。そこで、ディープラーニングシステムを用いてモーションヒストリーの意図性抽出に応用できるかを探った。またこれと並行して、シングルボード・コンピューターで構成されるエッジデバイスを用いて、WEBカメラで撮影した顔画像からリアルタイムで感情表現を行うシステムも開発した。今後はこの両者の結果を総合的に判断するシステムを構築する事で、重度重複障害を持った方のコミュニケーションにおける意図性を判
別する事で、コミュニケーションの質を高め、重度重複障害者の可能性を探るものである。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
従来の重度重複の人の意思性判別で問題になっていた 1）画像認識に使用する自前の学習モデルの必要性については、画像認識システムとして、クラウドコンピューティングシステムである、Google Colaboratoryの使用し、オリジナル画像から学習済みモデルを構築し、画像認識まで行える事が示された。また2）システムを実際の現場で運用する場合の利用しにくさに関しては、エッジデバイス（インターネットに接続されたシングルボード・コンピュータ）を用いる事で、小型、メンテナンス不要、電源を接続するだけで動作するシステムを試作した。これは、WEBカメラで撮影した動画からエッジデバイスだけでリアルタイム顔認識を行い、これから感情を推定するシステムを実現する事で解決できた。
しかしこれらの意思性判別システムが精度良く運用されるには、ある程度の正確性を担保できるデータを多量に準備する必要がある。健常者のスイッチ操作におけるモーションヒストリーならば、ある程度の正確性を担保した状態で、機械学習を行うのに必要なデータ数の確保も可能であるが、重度重複の人にモーションヒストリーのデータを数多く取らせて頂く事は、コロナウイルスの影響下でもあり、身体的負担が大きいだけでなく、心理的な負担も大きい事も事実であった。またスイッチ操作に伴うモーションヒストリーは個人の動作状態に強く影響し、他の重度重複の人の学習モデルを利用する事は困難であった。更にその学習モデルにおける意思性判別においては、本人からの直接的な聞き取りは困難な場合も多い。そこで意思性を判別する測定データとしては、モーションヒストリーに拘らず、重度重複の人に身体的・心理的に負担をかけない意思性判別システムを構築する必要がある。そこで本研究では、画像認識を用いた感情認識システムを従来の意思性判別システムに追加する事を提案する。
|
| Strategy for Future Research Activity |
今後の研究は、重度重複の人に身体的負担をかけず、なおかつ意思性を正確に抽出するため、画像認識を用いた感情認識システムを従来のシステムに追加する。これはWEBカメラで撮影した重度重複の人の顔画像から、機械学習を用いて感情認識を行い、従来のスイッチ操作におけるモーションヒストリーから意思性を判別するシステムと比較して、重度重複の人に何らか主体的な動作を行ってもらう必要がないパッシブなシステムとなる。つまり、今回提案するシステムは重度重複の人に負担をかけない事が大きな改良点となる。
従来のモーションヒストリーから機械学習を用いて意思性を判別するシステムでは、学習モデルの基礎となるモーションデータの個人差が大きく、その人個人のモーションヒストリーの個別学習モデルが必要となる。このため、正確な意思性判別のためには、意思性を明確に表し、なおかつ多量のモーションヒストリーデータを準備する必要があった。これが重度重複の人に負担をかけ、研究を困難化させていた。
一方、今後のシステムはWEBカメラで撮影した顔画像から、感情を認識し、意思性を判別するものである。つまり支援者が、重度重複の人に何らかのアクション（例えばテレビのチャンネルを変える等）を起こした時、重度重複の人が怒ったり、悲しんだりすれば、「そのアクションは不適切」という判断が出来る。よって重度重複の人の身体的なアクションをしてもらう必要は無い。
また、感情認識は顔の表情から感情を認識するが、顔の表情は、健常者の人でも重度重複の人でも比較的同じ傾向を持つ。よって、感情認識に必要な表情データは、健常者の表情データで置き換えが可能になり、重度重複の人からデータを多量に集める事は不必要になる。更に感情認識に用いる顔のモデルは既にインターネット上の多く展開されており、これらのデータを利用すれば、感情学習モデルの構築も不必要になる利点がある。
|
| Causes of Carryover |
本研究は重度重複障害者の人の手、指等の動きをWEBカメラで撮影し、ディープラーニングでその意思性を判別するものである。このディープラーニングにおける学習モデルの構築には、障害を持った人のモーションの撮影や、先生や支援者からのヒアリングが必須になる。しかし、通常の環境よりコロナウイルスの影響を強く受ける施設や病院では優先度の関係から本研究の聞き取り調査等が困難であった。このため、延長を考える至った
|
