2022 Fiscal Year Annual Research Report
重度重複障害児のコミュニケーション獲得性に向けた支援者支援機械学習システムの試作
| Project/Area Number |
19K11417
|
|---|
| Research Institution | Kagawa University |
|---|
Principal Investigator |
宮崎 英一 香川大学, 教育学部, 教授 (30253248)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
坂井 聡 香川大学, 教育学部, 教授 (90403766)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 障害者支支援 / 重度重複 / インタフェース / 機械学習 / ディープラーニング / 画像認識 / マシンビジョン |
|---|
| Outline of Annual Research Achievements |
従来、2つ以上の障害を併せ持つ重度重複障害者とのコミュニケーションは、長年の経験を積んだ支援者においてもその意図が不明な場合が多く、経験の浅い支援者ではコミュニケーション確立が困難であった。そこで本研究では、従来の人間対人間のコミュニケーションを基礎とし、WEBカメラを用いて撮影された表情等の非言語的な感情パターン認識と腕や指の動作を記録したモーションヒストリー動画にディープラーニング・アルゴリズムを用いて意図性抽出を試みた。 重度重複障害者の方の手や指の動作が、自身の意思によるものか、あるいは不随意運動に伴う意思性を持たないものかという判別を客観的に評価するため、加速度センサやWEBカメラで撮影した動画にオプティカルフロー・アルゴリズムを用いてコミュニケーション中の手や指先の運動特性（モーションヒストリー）を測定していたが、測定データからは人間の主観だけでは優位な判別性を見つけることは、現時点ではまだ完成していない。
そこで最終年度は、まずは障害を持った人が自分の持つ能動的コミュニケーションに気づきを与えるシステムに変更した。これは、従来の研究で試作した指先等の動きを家電製品の制御トリガーとし、障害を持った人が自分の身振りや動作で家電の制御を行うものである。ここでは、Teachable MachineとScratchを用いる事で、AIを用いた画像認識によるインタフエース・システムを作成した。本システムのテストにおいては、高い精度で画像認識が行われ、家電の制御もほぼ問題無く実行された。このシステムでは、障害を持った人が単独で家電制御を行う事が出来るので、自分の意思を他に伝える事が可能な事に気づくきっかけを与えるものである。今後は本システムを日常的に使用してもらい、自分のコミュニケーションの可能性に気づきを与えるかの評価が必要になる。
|
