2016 Fiscal Year Research-status Report
マルチモーダル・インタフェースを応用した肢体不自由児における意思表出構造の解明
| Project/Area Number |
15K01460
|
|---|
| Research Institution | Kagawa University |
|---|
Principal Investigator |
宮崎 英一 香川大学, 教育学部, 教授 (30253248)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
坂井 聡 香川大学, 教育学部, 教授 (90403766)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 障がい者支援 / 入力インタフェース / モーショントラッキング / モーションヒストリー / センサ / QOL |
|---|
| Outline of Annual Research Achievements |
本研究は，組み込み制御機器の開発を手がけてきた代表者と障害者のICT利用を進めてきた分担者及び肢体不自由児や病弱児等の各分野に専門化された特別支援学校の協力者と共同研究を行い，従来のインタフェースの上に，様々なセンサ類を組み合わせたマルチモーダル・インタフェースを提案する。このインタフェースではスイッチ操作に伴う不随運動の影響を除去する事で利用者の正確な意図性が抽出可能となる。これにより自分の意思を正しく伝える事が出来，学習支援や日常生活，さらには就労支援までを含めたサポートが可能となり，障害者の生活の質(QOL:Quality of Life)的向上が期待できる。
これまで応募者は，WEBカメラ画像に移動物体検出アルゴリズムを適応し，撮影対象の移動方向や動作の正確さに制限を受けず，どの方向に移動しても入力トリガーとして検出可能な入力インタフェースを試作してきた。しかし問題となったのが，身体動作の意図性である。そこで複数の入力インタフェースを組み合わせて，多角的な非相関の情報を得るシステムを作成している。この結果，従来の単一インタフェース入力だけでは解決できなかった使用者の意図性の真偽が判定可能となる可能性がある。
今までの研究実績からWEBカメラを用いたトラッキングシステムによる入力インタフェースは実際の現場においても実用できる可能性を示す事ができた。これらはコンピュータの入力インタフェース機能以外にも，日記や手紙などの文章作成等，日常生活においてもQOLを向上させる可能性を見る事ができた。しかし意思性を抽出するにはマルチセンサとしてのセンサ群が不足している事もまた運動モデルがまだ決定できていない事からも示された。これらセンサ群の追加が急務であり，これらの測定データを加える事で，より意思性を忠実に反映したより高度な手指の運動解析を行っていく必要がある事も示された。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
当初の予定では，本年度期間中に1）マルチモーダル・インタフェース群の開発として，既に本研究室で発表された幾つかの成果をもとに，研究分担者の意見を取り入れながら，使用者からのニーズが最も高い，運動機能障害者に対する不随運動データの収集を予定していた。
特に本年度はシステム開発の基礎となる1）を主目的とし，「マルチモーダル・インタフェース群」の開発を行ってきた。前年度までの研究結果から分かったことは，本研究で試作したWEBカメラを用いたユーザーインタフェースは確かにユーザのどのような動作でも移動方向に依存せず，微小な変異でも入力トリガーとして機能する事がわかった。しかし前年度で問題になった測定データの取りこぼし問題をはじめ，モーションヒストリの測定値だけではトリガー動作における意思性抽出のためのデータ不足である事もわかった。よって，現状の測定システムではWEBカメラからのトリガーだけの機能であり，更なる手指の運動情報量を測定する必要がある。
そこで今後は，9軸センサ（３軸ジャイロ，３軸加速度，３軸コンパス）を用いて手指の運動を検出するシステムの試作を行う予定である。このセンサ群により，手指のより多くの情報（回転速度，加速度，絶対方向）を測定し，運動数値モデルとして同定していく予定である。さらに従来のトラッキングに加え，新たにオプティカルフローの手法も取り入れて行く準備を行っている。オプティカルフローは，WEBカメラで撮影された手指の動きをベクトル表示し，動作解析を行う。更にこれは移動情報をビデオ画面にリアルタイムで重ねて表示できる。よって，この測定システムを試作し，実際の現場での運用テストを試みる。さらに現状ではまだ準備段階であるが，運動解析に深層学習等のディープラーニングの手法を取り入れる事が実現できれば，従来では困難であった画像解析結果を導ける事も期待できる。
|
| Strategy for Future Research Activity |
今までの研究を遂行する上で問題になったのが，ユーザのスイッチ操作の意思性の同定である。健常者がスイッチを操作する場合，その動作に意思性があったかどうかは，確定可能であるが，意思性を持たない動作は行えない。これと逆に特別な支援を必要とする方の多くは不随運動を伴う動作が発生するが，その意思性を正確に確認するには困難な場合が多い。
そこで上記で述べたように新しく9軸センサ（３軸ジャイロ，３軸加速度，３軸コンパス）の導入を試みる。これは単純なスイッチ動作に伴う手指の動作を解析し，回転速度，加速度，絶対方向といった位置情報もリアルタイムで同時に測定できる。よって今まで測定出来ていなかった手指の運動を解析するのに必要なデータの習得が見込まれる。これらの結果から，このシステムでは利用者のスイッチ動作の意思性がより正確に同定できる可能性が高まると期待できる。今後は，これらのセンサで測定された値と指の運動数値モデルと関連を調べながら，これらを同定するアルゴリズムを開発していく予定である。
さらに現在までに試作したWEBカメラインタフェースでは，撮影されたビデオ動画からは，撮影対象となる利用者の手指の位置方向の移動量しか測定していないが，物体の動きをベクトルで表現するオプティカルフロー（optical flow）を用いることで，より多くの情報を得る事が可能になる。オプティカルフローは，WEBカメラで撮影された手指の動きを動画上にベクトルで表し，その動作解析を行うものであり，３次元の移動情報をビデオ画面にリアルタイムで重ねて表示できる。現在，オプティカルフローのプログラム部分は完成しており，移動する物体の動線方向の検出までが実現できている。さらに現状ではまだ準備段階であるが深層学習等のディープラーニングの手法を取り入れる事が実現できれば，従来では困難であった新たな画像解析結果を導ける事も期待できる。
|
| Causes of Carryover |
当初の予定では，試作したユーザインタフェースシステムを各学校現場等に持ち込んで学校現場での運用テストを通して，感度や使いやすさ等のフィードバックを貰う事を予定していた。しかし，上記で述べたようにインタフェース部分の入力部分には運用精度に問題があり，特別な支援を必要とする児童に使用してもらうには不十分であった。具体的には手指が動作したのに反応しない，反応が遅れるので，２回入力してしまう等であり，これらは逆に利用者だけでなくサポートする先生方においても使いにくいという事であった。そのため，今までは各学校現場等においてテスト運用に必要なタブレット端末の購入を見合わせていた。またマルチモーダルセンサにおいても，WEBカメラ以外のセンサが不確定であったため，各学校でテスト運用して頂けるだけのセット数を購入していなかった。これらの原因により当初予定していた金額の運用に問題が生じていた。
|
| Expenditure Plan for Carryover Budget |
まず，今回は上記で説明したように9軸センサを購入し，これを用いたインタフェースを構築した上で，WEBカメラとのインタフェースと組み合わせる。このシステムにセンサに加えて当初購入予定であったテスト運用に必要な個数のタブレット端末を購入し，実際の教育現場でのテスト運用をお願いするものである。これらの購入については，問題となっていた「次年度使用額」を割り当てるものである。またこれ以外に本年度からく新しくオプティカルフローを用いた画像解析も行う予定であるが，これは予めタブレット端末に搭載されているビルトインカメラの使用を予定している。この新たにカメラを購入の予算を計上する必要がないため，今後の研究に支障はきたさない。更にディープラーニングにおいても既存のコンピュータの利用を予定しているので，ここでも新たな予算が発生しない。よってこの計画でも当初の予算で十分実現可能と考えられる。
|
