| 研究課題/領域番号 |
16H03216
|
|---|
| 研究機関 | 国立研究開発法人産業技術総合研究所 |
|---|
研究代表者 |
依田 育士 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (00358350)
|
|---|
| 研究分担者 |
中山 剛 国立障害者リハビリテーションセンター(研究所), 研究所 障害工学研究部, 研究室長 (90370874)
飛松 好子 国立障害者リハビリテーションセンター(研究所), 国立障害者リハビリテーションセンター, 総長 (20172174)
小林 庸子 国立研究開発法人国立精神・神経医療研究センター, 身体リハビリテーション部, 医長 (80425694)
|
|---|
| 研究期間 (年度) |
2016-04-01 – 2019-03-31
|
| キーワード | 重度障害者支援 / ジェスチャインタフェース / インタフェース / ジェスチャ認識 |
|---|
| 研究実績の概要 |
実対象となる重度運動機能障害者の継続したデータ収集を行い、各種距離カメラを利用して、累積51名、181部位のジェスチャデータの収集を実現した。そして、これらの部位に関して、できる限り少ない認識エンジンで認識するために、上肢（3部位：指の折りたたみ、手の動き、上腕の動き）、頭部(3部位：頭部全体の動き、目、口)、下肢（3部位：膝の開閉、足踏み、足先の動き）、肩（上下と前後）と、未分類に分類をした。
そして、これらを認識する9種の認識エンジンの基礎的な開発を終了した。具体的には、部位モデルを持つもの（7種）と、持たないもの（2種）がある。部位に依存するものは、指の折り曲げジェスチャ、頭部ジェスチャ、口の開閉と舌のジェスチャ、大きなウィンクのジェスチャ、足踏みジェスチャ、膝の開閉ジェスチャ、肩ジェスチャとなった。一方、部位に依存しない認識エンジンとしては、カメラ最近接認識モジュール（手先や足先の動きに対応）と、微細な動き認識モジュール（不随意運動がない指、耳、口などの微細な動きに対応）の基礎を完成させた。ただし、今後の実用化を進めるためには、これらの精度評価や、個人への対応への研究開発が重要な課題となる。
また、これらのジェスチャの収集と対応する認識エンジンの開発を行うと同時に、頸椎損傷者1名と神経性疾患1名の計2名の長期実験を実施した。1名の方は、3チャンネルの頭部ジェスチャ（右、左、下）でパソコンや家電操作等を状態遷移型メニューから操作し、実利用に関する意見を収集した。また、もう1名の方は、4箇所の微細な動き（右手の指、左手の指、耳、口）で、同様の状態遷移型メニューからの操作実験を実施した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
実対象となる重度運動機能障害者のデータを継続して5年近く実施してきた。現在までのところ、総計51名、181部位のジェスチャデータを収集した。これらが、実際に対応する認識エンジンの開発のために充分なデータ数か否かは、今後の評価結果を待つことになるが、一定のデータを確保することが出来たと考えている。これらの部位に関して、できる限り少ない認識エンジンで認識するための分類を実施したが、現在集積したデータを概観する限りでは、上肢（3部位）、頭部(3部位)、下肢（3部位）、肩（上下と前後）の10部位と、未分類に分類を実施したが、現時点では最も妥当な分類と考えている。
そして、これらを認識するために9種の認識エンジンの基礎的な開発した。これらは、各部位に1対1対応するわけではなく、最も少ない認識エンジンで、最も多くの人に対応することを目的に開発を行った（データ収集をした全ての障害者に対応出来るわけではない）。
そのために、カメラ最近接認識モジュールによって、手先や足先の動きに対応した。また、微細な動き認識モジュールによって、微細な指、耳、口などの微細な動きに対応した。これらは、部位に依存するモデルはなく、似たような挙動をする部位であれば、どの部位であっても対応可能である。
一方、7種の部位別認識エンジン（頭部動作、大きなウィンク、口の開閉or下出し、肩の上下or前後、指の折り曲げ、膝の開閉、足踏み）に関しては、各部位の動きと1対1対応となっている。
9種の認識エンジンの基本的な動き方は、収集したデータを基に決められており、その動きの大きさを、各個人の学習によって、その閾値設定を利用開始前に設定する。長期実験では、多くのデータから閾値を自動設定する方法も行ったが、ユーザの認識するカメラの位置が毎回異なるため、毎日の利用初回時に学習する手法が採用している。
|
| 今後の研究の推進方策 |
9種の認識エンジンの基礎を完成させたが、実際のその性能（認識率）などの詳細な評価は未実施のため、これら評価と改良が最終年度の中心的な課題となる。現在までの取得したジェスチャにおいて、手動による教師信号の付与を実施している。これらの教師信号を利用して、実際の認識率の評価を実施する。
具体的には、部位モデルを持つもの7種：指の折り曲げジェスチャ、頭部ジェスチャ、口の開閉と舌のジェスチャ、大きなウィンクのジェスチャ、足踏みジェスチャ、膝の開閉ジェスチャ、肩ジェスチャに関して、教師信号での認識結果と詳細に評価するともに、認識がうまくいかないシーンを詳細に観察する。その上で、学習が不足しているのか、モデル自身の変更が必要なのか、あるいはもっと違う設定の問題なのかを検討し、個別に認識エンジンの改良を図る。同様に、部位に依存しない認識エンジン：カメラ最近接認識モジュール（手先や足先の動きに対応）と、微細な動き認識モジュール（不随意運動がない指、耳、口などの微細な動きに対応）に関しても同様な実験を行い、認識エンジンを改良するとともに、それぞれ利用可能なジェスチャ範囲を明らかにする。
プロジェクト最終年度として、一定評価可能なデータの蓄積を終えているので、このデータを基に認識エンジンの改良を行い。実利用に耐えられる手法の完成を目指す。
|
| 備考 |
現在、研究開発中のジェスチャインタフェースを、今後、無償で障害者向けに公開するためのプラットホームとなるホームページを開設した。
来年度からソフトウェアの公開を予定している。
|
