2016 Fiscal Year Annual Research Report
重度肢体不自由者支援のための適応的ジェスチャインタフェースの研究
| Project/Area Number |
16H03216
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
依田 育士 国立研究開発法人産業技術総合研究所, 人間情報研究部門, 主任研究員 (00358350)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
中山 剛 国立障害者リハビリテーションセンター(研究所), 障害工学研究部, 研究室長 (90370874)
飛松 好子 国立障害者リハビリテーションセンター(研究所), 国立障害者リハビリテーションセンター, 総長 (20172174)
小林 庸子 国立研究開発法人国立精神・神経医療研究センター, 身体リハビリテーション部, 医長 (80425694)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 福祉工学 / インタフェース / 障害者支援 / 画像、文章、音声等認識 / 知能ロボティックス |
|---|
| Outline of Annual Research Achievements |
より多くの重度運動機能障害者に対しシステムを適応可能にするため、筋疾患・神経疾患患者と頸髄損傷者を中心に、3次元動画像のジェスチャデータの収集を継続実施した。具体的には、新たに34部位のデータを取得した。そして、合計159部位のデータに関して、より少ない認識エンジンでより多くの部位に対応することを念頭に、ジェスチャの分類を実施した。現在、137部位を10分類し、22部位を未分類として分類した。
そして、これらの部位に対応する認識エンジンの開発を行った。その結果、部位モデルに依存する頭部動作、舌の出し入れ、指の動き、両足の動き、膝の開閉、肩の動きを認識する6つの認識エンジンの基本開発を終えた。また、部位などに依存しない認識エンジンとして、カメラに最近接した部位の動きを認識するエンジン、指定した領域の小さな動きを認識するエンジン２種を継続開発した。
さらに被験者の短期の揺らぎ、長期の変動に追随できるような適応的なジェスチャ認識システムの基礎を確立するため、頸髄損傷者1名と、神経筋疾患者1名に対し、自宅にシステムを設置し、長期実験を実施した。具体的には、前者は頭部動作によって、家庭内の家電（テレビ、エアコン、照明等）、PC操作（ゲーム、Skype等）、呼び鈴の操作を可能にする状態遷移型のメニューを開発し、長期の操作実験を実施した。後者は同様の内容を左右の指、耳、口の4部位の微細な動き操作を行った。今年度はシステムとして頑健性に対する改良を重ねながら、メニューを含めた利用方法の改善を積み重ねた。
毎回、最初に利用する際に学習用のジェスチャ操作を行い、そのデータを取得した。学習用データを解析し、長期変動に対応するための学習手法、対応方法などを検討した。現時点では大量のデータから適切な固定的なしきい値を決定するより、毎日の初期データから最適なしきい値を取得する方法が優れている結果を得ている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究開発の方策として、中心課題となるのは次の5つの課題から構成される。１）重度運動機能障害者の実データの取得、２）そのデータの適切な分類、３）その分類に基づく複数認識エンジンの開発、４）長期運用実験、５）短期・長期の変動への対応。これら5つの具体的な課題の進展が、連動しながら進むことが重要となる。そこで、各課題の進捗状況を説明する。
１）実データの取得：1年間の間に34部位の新たなジェスチャを取得することが出来た。過去の研究進捗から見ても順調なデータ収集ができたと考えている。２）適切な分類：34件データが増加した中で、10分類で類型化を行い、以前より2分類の増加で分類できた。３）複数認識エンジンの開発：6つの認識エンジンのうち、「舌の出し入れ」、「肩の動作の動作」については、増えたデータを利用して大きく改善することが出来た。想定した使用範囲内では、ほとんどの人に適応可能と考えている。また、新たに「足の動作」の認識エンジンの新規開発を行い、今まで未対応だった両足の各足でフットペダルを押す動作も認識可能となった。４）2名の被験者に対して長期実験を実施し、新たにメニュー操作機能を付けた上で実験を実現した。５）短期・長期変動を想定して、最初に行う学習用のジェスチャ操作（ジェスチャ体操）のデータを取得して適応状況を確認することができた。現在の結論は、毎回の最初のデータでしきい値を毎回再構成するのが最も良いという結論を得ている。
|
| Strategy for Future Research Activity |
今後も今まで同様に筋疾患・神経疾患患者と頸髄損傷者を中心に、重度運動機能障害者のジェスチャデータを継続して収集する。
また次年度最初に、現在までに完成している部位モデルに依存した6つの認識エンジン（頭部動作、舌の出し入れ、指の動作、足の動作、膝の開閉、肩の動作）、さらに部位に依存しない2つの認識エンジン（手前のもの、指定部位の微少動作）に関して、昨年度までに集めた全てのデータに関して、適応可能なデータ（ジェスチャ数）を確定するとともに、認識性能の評価を実施する。この評価は年度前半で実施し、上述の分類や認識エンジンの改良のための基礎データとする。
その上で、新たなジェスチャを追加しながら、今まで同様にジェスチャの分類を行うとともに、その各部位に対応する認識エンジンの改良を継続する。全ての被験者に対応することは不可能であるが、より多くの被験者に対応可能にすることを前提に分類をし、各認識エンジンの改良を継続する。
被験者の長期実験に関しては、昨年度から継続している2名の被験者を継続するとともに、神経センターの神経系疾患の被験者の中から1名長期変動用の被験者を選定し、主に微細な動きに関する長期実験を追加実施する予定である（各種条件に適合した被験者がみつかるかどうかに依存するので確実に実施出来るとは限らない）。長期実験では、PC上で複数操作が可能になるように、状態遷移図を模したメニューを作成し、動作させている。この操作メニューの適合性の検証などを含め、初期設定への自動対応、被験者の短期の揺らぎ、並びに長期的な変動に追随する手法に関して継続して評価・改良を行う。
認識エンジンの改良に関しては、特にモデルを持たない微細な動きを認識するエンジンに関して、位置の特定手法に関する自動化を行う。
|
