2019 Fiscal Year Research-status Report
重度重複障害児のコミュニケーション獲得性に向けた支援者支援機械学習システムの試作
| Project/Area Number |
19K11417
|
|---|
| Research Institution | Kagawa University |
|---|
Principal Investigator |
宮崎 英一 香川大学, 教育学部, 教授 (30253248)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
坂井 聡 香川大学, 教育学部, 教授 (90403766)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | ディープラーニング / モーションヒストリー / 障害者支援 / 不随意運動 / 物体認識 / 機械学習 |
|---|
| Outline of Annual Research Achievements |
従来、2つ以上の障害を併せ持つ重度重複障害児とのコミュニケーションは、長年の経験を積んだ支援者においてもその意図の理解度が不明な場合が多く、経験の浅い支援者ではコミュニケーションの確立が困難であった。そこで従来の人間対人間のコミュニケーションを基礎とし、複数のWEBカメラを同時に用いて撮影された動画から、表情・動作・発声等の非言語的な身体行動パターンに対してディープラーニンアルゴリズムを応用する事で、意図性判別の助けとなる支援者サポートシステムを構築する事を目的とした。
本年度当初は 支援者のコミュニケーション手法の聞き取り後、意図性サンプル化と撮影部位の決定を予定していたが、本研究においてはディープラーニンでの学習システム構築が、研究遂行上最も急務である事が分かり、今年は重点的にディープラーニンを用いたパターンマッチングを行い、ディープラーニンのパターンに関する判別モデルの可否を検討した。
障害のある方がスイッチ等を押す場合、それが、自分の意思によるものか、あるいは不随意運動に伴う意思性を持たないものかという判別は人間では客観的に判断困難なため、加速度センサ等を用いてスイッチ動作における指先の運動特性（モーションヒストリー）を測定していたが、測定データからは人間では優位な判別性を見つけることはできなかった。そこで、ディープラーニングシステムを用いてモーションヒストリーの解析に応用できるかを探った。
またこれと並行して、一般的なコンピュータで利用可能なディープラーニングシステムを応用してWEBカメラで撮影した動画からリアルタイムで物体認識およびこれを用いたラベリングを行い、対象物の名称を音声合成で発声するシステムも作成した。これにより、障害を持った方のモーションヒストリーをリアルタイムで対象物が把握出来る可能性を持つ事が示された。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本年度はディープラーニングシステムを用いてモーションヒストリーの解析に応用できるかを検証した。ただ、測定されたモーションヒストリーのデータを直接ディープラーニングシステムで解析しても、その結果が正しいかどうか判断がつかないため、人間が判別できる画像データを準備し、このデータを用いてディープラーニングを行い、この手法が解析に適切がどうかの判断を行った。本研究で用いたNNC（Neural Network Console）は、ネットワーク構造の自動最適化のアルゴリズムを有しており、ネットワーク構造の自動最適化のアルゴリズムとしてネットワーク特徴量とGaussian Processを使ったBayesian Optimizationを用いたネットワーク構造の自動探索を行った。これらの条件下で自動探索回数100回を実行した結果、自動で最適化されたモデルの正確さは100％になり、強力な自動最適化が行われている事が示され、ディープラーニングの有効性が確認出来た。
またディープラーニングシステムを自前で構築する場合には，ディープラーニングが行えるレベルの高速なCPUやGPUを用いたコンピュータの使用が望ましいが、この学習システムの構築にもコストが要求される。このため，誰でもが簡単にディープラーニングシステムを準備するには負担が大きい。そのため，基礎的なレベルでこれらの目的を達成できるシステムの構築を目指した。システムの前提条件として，1）一般的なコンピュータとWEBカメラを提示システムとして利用、2）物体認識はリアルタイムで行う、3）学習済みモデルの3つ設定し、ディープラーニングを用いてリアルタイムで物体の認識を行い，この物体の名称を音声で提示する事が出来た。しかし実生活においては物体の認識だけでなく，対象物の距離や正確な方向といった情報も併せて必要な場合がある事もわかった。
|
| Strategy for Future Research Activity |
今後の研究推進の方向としては、従来通りの支援者のコミュニケーション手法の聞き取り後、意図性サンプル化と撮影部位の決定を行える事がベースとなる。またこれと並行して、研究で得られたディープラーニングを用いた画像解析のアルゴリズムを基礎として、今後は、実際に加速度センサ等で測定されたデータを画像化し、この画像をデータセットとして解析を行う予定である。しかし正確な解析を行うには多くのデータが必要になるため、使用者に負担の無い形でのデータ収集システムを新たに構築する必要がある。今回は加速度センサを用いた測定を行ったが、非接触で測定できる光学的なアプローチも視野に入れる必要がある。
更にディープラーニングのテスト結果からは今後に向けてのシステムの改善点もある事が示された。研究では，事前に計算された学習済みモデルを用いたので，簡単に物体認識システムを構築する事ができた。その反面，事前に学習されている物体しか認識出来ないので，個人の生活環境に対応出来ていない。そのため今後は独自の学習用データセットを準備し，学習モデルを構築する必要がある。しかし実生活においては物体の認識だけでなく，対象物の距離や正確な方向といった情報も併せて必要な場合がある事もわかった。今後はこれらの情報を合わせて提示出来るようなシステムとして改良を行い，障害者の日常生活の質を向上させるデバイスの開発を目指すものである。
以上より、に今後は構築されたこのシステムを用いて実際に測定されたモーションヒストリーの解析を行い、不随意運動の影響を除去するインタフェースの開発を行う。これにより、不随意運動をもった方でも、コンピュータを介して自分の意思を伝達する事ができるので、日常生活の新しい機会を得る事が可能になると期待出来る。
|
| Causes of Carryover |
当初予定では、当初は個人負担の外国旅費として計上していた台湾の嘉義大学で開催される「The 7th National Chiayi University-Kagawa University Workshop」の15万円が、途中から全額が大学からの補助で賄えるようにして頂いた。そのため、当初予定していた本旅費がそのまま次年度使用額として発生してしまいました。
また、この代替え案として急遽日本産業技術教育学会情報分科会（第35回情報分科会（高知）：2020年3月14日～15日）の参加を検討しましたが、日程の都合で参加がかないませんでした。
今後、令和2年度に開催予定されている国立チェンマイ大学と香川大学間でのThe 8th Joint symposiumに参加予定でありますが、本件においても早い時期に予算の執行可能可否状況を確認する必要があると同時に新型コロナウイルスの影響もあるので、会議の開催可否も確認しておく事が今後必要になると思います。
|
