2020 Fiscal Year Research-status Report
重度重複障害児のコミュニケーション獲得性に向けた支援者支援機械学習システムの試作
| Project/Area Number |
19K11417
|
|---|
| Research Institution | Kagawa University |
|---|
Principal Investigator |
宮崎 英一 香川大学, 教育学部, 教授 (30253248)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
坂井 聡 香川大学, 教育学部, 教授 (90403766)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 障害者支支援 / 重度重複 / インタフェース / 機械学習 / ディープラーニング |
|---|
| Outline of Annual Research Achievements |
従来、2つ以上の障害を併せ持つ重度重複障害者とのコミュニケーションは、長年の経験を積んだ支援者においてもその意図の理解度が不明な場合が多く、経験の浅い支援者では正確なコミュニケーションの確立が困難であった。そこで従来の人間対人間のコミュニケーションを基礎とし、WEBカメラを用いて撮影された表情等の非言語的な感情パターン認識と腕や指の動作を記録したモーションヒストリー動画にディープラーニング・アルゴリズムを用いた意図性抽出を行う。これらの結果から重度重複障害者のコミュニケーションにおける基礎的な意図性（例：はい、いいえ、好き、嫌い等の感情）を抽出し、従来の人間対人間では困難であったコミュニケーションの質を高める支援者サポートシステムを構築する事を目的とした。
重度重複障害者の方の手や指の動作（モーション）が、自身の意思によるものか、あるいは不随意運動に伴う意思性を持たないものかという判別は人間では客観的に判断困難である。これを客観的に評価するため、加速度センサやWEBカメラで撮影した動画にオプティカルフロー・アルゴリズムを用いてコミュニケーション中の手や指先の運動特性（モーションヒストリー）を測定していたが、測定データからは人間の主観だけでは優位な判別性を見つけることはできなかった。そこで、ディープラーニングシステムを用いてモーションヒストリーの意図性抽出に応用できるかを探った。
またこれと並行して、シングルボード・コンピューターで構成されるエッジデバイスを用いて、WEBカメラで撮影した顔画像からリアルタイムで感情表現を行うシステムも開発した。今後はこの両者の結果を総合的に判断するシステムを構築する事で、重度重複障害を持った方のコミュニケーションにおける意図性を判別する事で、コミュニケーションの質を高め、重度重複障害者の可能性を探るものである。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
従来の加速度センサの測定に加えて、ディープラーニングを用いて動画からリアルタイムで感情認識を行うシステムや、モーションヒストリーの解析を行うシステムを開発し、ある程度の実績を得た。しかし、1）画像認識に使用する自前の学習モデルの必要性、2）システムを実際の現場で運用する場合の利用しにくさという2つの問題点がある事も示された。
1）については、従来の画像認識システムでは、事前に学習されている「学習済みモデル」を利用させて頂いた。本研究では、オリジナルのモーションヒストリーデータを用いるので、こちらで学習モデルを構築する必要がある。しかし、学習モデルの構築には、多量の画像データと高速な計算機や開発環境の準備が要求され、費用・時間的なコストが要求される。そこで、これらの問題点を解決するためクラウドコンピューティングシステムである、Google Colaboratoryの使用を試みた。本年度は、これを用いてオリジナル画像から学習済みモデルを構築し、画像認識まで行える事が示された。
2）は、家庭や病院といった環境下で認識システムを実際に運用するには、パーソナル・コンピュータをベッド横等に置くことはスペースや管理上好ましく無い。更にアップデートやメンテナンスの問題があり、利用者の負担が大きく、これが普及を妨げている。
そこで、本研究ではエッジデバイス（インターネットに接続されたシングルボード・コンピュータ）を用いる事で、小型、メンテナンス不要、電源を接続するだけで動作するシステムを試作した。これは、WEBカメラで撮影した動画からエッジデバイスだけでリアルタイム顔認識を行い、これから感情を推定するシステムを実現した。更にエッジデバイスで測定されたデータをクラウド上の高速なコンピュータに渡す事で、感情判別により精度の高いアルゴリズムの利用も期待できる事が分かった。
|
| Strategy for Future Research Activity |
今後の研究推進の方向は、WEBカメラで重度重複者のモーションヒストリー撮影を行う事が急務である。画像認識に用いる動画データが揃えば、本年度に実施した「オリジナルの学習済みモデルの構築」システムを用いて、意図性のある学習済みモデルの構築が可能となる。ただ、問題になるのが重度重複者のモーションの意図性の確認である。重度重複者から、そのモーションに意図性があるかどうかを単独で聞き取り調査から確認する事は困難である。そこで、支援者からの聞き取り調査と合わせて重度重複者のモーションの意図性の確認を行う。
従来の研究では、重度重複者のモーションヒストリー測定には、加速度センサの利用を想定していたが、本年度の結果からWEBカメラによる動画も解析に使用できる可能性も十分ある。ただ、オリジナルな学習モデルを構築するのには、多量のデータが必要になり、普通に撮影したのでは重度重複者の方の負担が大きい。そこでWEBカメラの動画撮影も360度カメラを利用すれば、撮影後に別の部位を判別ターゲットとする事が可能なので、再撮影の手間が発生せず、重度重複者の方に負担が少ないと期待できる。
更に事前に計算された学習済みモデルを用いれば、エッジデバイス等でも簡単に感情認識システムを構築する事ができたが，事前に学習されている顔しか認識出来ないので，重度重複者の環境に対応出来ていなかった。そのため今後は独自の顔認識用学習データを準備し，感情を判別する学習モデルを構築する必要がある。
以上より、今後は構築されたシステムを用いて実際に測定されたモーションヒストリーの解析を行い、重度重複者の意図性が明示できるインタフェースの開発を行う。これにより、重度重複者の方でも、コンピュータを介して自分の意思を伝達する事で、コミュニケーションを実現出来る事を再確認してもらい、自分の可能性について改めて認識してもらう事が期待出来る。
|
| Causes of Carryover |
当初の予定では台湾で行われる国際会議「International Conference on Technology Education」の旅費を予算として計上していたが、新型コロナウイルスの影響で、この会議がオンライン開催になってしまった。このため、旅費（外国）として計上していた25万円が未執行として発生した。更に千葉県で開催された日本産業技術教育学会全国大会においても同様にオンライン開催になってしまい、旅費（国内）として計上していた10万円もそのまま未執行として発生した。また、令和2年度に開催予定されていた国立チェンマイ大学と香川大学間での「The 8th Joint symposium」も同様に新型コロナウイルスの影響のために中止となってしまい、これに関わる学会参加費用も執行できなかった。
更に重度重複の方に聞き取り調査を行う予定であったが、新型コロナウイルスの影響で外部からの感染防止のため対面訪問が困難であり、当初の予定より研究遂行が遅れた結果、購入すべき物品の決定が遅れてしまった。
次年度において予算を規定通りに運用するために、新型コロナウイルスの影響を考慮し、基本的に旅費は計上しない事とする。更に、重度重複の方の聞き取り調査においても、対面聞き取りではなく、テレビ会議システムを用いた遠隔での聞き取り調査の実施等を行い、予定通りの研究遂行を試みるものである。
|
