2015 Fiscal Year Research-status Report
プログラマブルな手がき／ジェスチャインタフェースの開発とUXへの展開
| Project/Area Number |
15K21268
|
|---|
| Research Institution | Tokyo Metropolitan University |
|---|
Principal Investigator |
馬場 哲晃 首都大学東京, システムデザイン学部, 准教授 (30514096)
|
|---|
| Project Period (FY) |
2015-04-01 – 2018-03-31
|
| Keywords | 入力インタフェース / 手書き入力 / ジェスチャ / プロダクトデザイン / 機械学習 / 日用品デバイス |
|---|
| Outline of Annual Research Achievements |
指先やペンで手がき（書，描）またはジェスチャした記号や文字などをオンラインでコンピュータに入力し，それらの入力情報をユーザがプログラム可能なインタフェースを開発することで，ユビキタス・ウェアラブル環境に向けたユーザに親和性の高い機器操作の基本システムを構築する．近年のジェスチャインタフェースにおいて，多くの研究発表がなされる一方で，例えばジェスチャコマンドをその場で組み合わせ，複雑な入力を実現する等といったプログラマブルな操作は実現されていない．そこで本研究では，入力データをさらに手がき／ジェスチャ操作にてプログラム可能な操作体系を開発することで，本入力方式における複雑な操作が困難であった制約を取り払い，さらにその利用方法や可能性を拡張することを目的とする．
初年度は主に基礎となる手書き文字記号のパターン認識ライブラリ及び対話設計の基礎を築く．一般的な機械学習手法（kNN,SVN,NN）を利用し，2,3ヶ月程度の長期に渡り，ユーザの手がき／ジェスチャ記号入力と認識精度に関するデータ収集を行うことで，本手法に特化した体系的パターン認識手法をまとめた．「機械学習を用いた対話操作の為のパターン認識ライブラリの開発」において，数万のデータを収集し，これらを基に認識アルゴリズムの検討を行った．比較的計算リソースの高いPCやスマートフォン端末等ではSVMやNN等を実時間で実行することは容易である一方，これらの入力体系を日常生活の機器操作まで応用するためには，計算リソースの低いマイコン上で動作するの設計も必要となる．そこでいくつかの文献を参考にし，汎用IOボード等で利用されているArduino, mBed, PICといったマイコン上で動作可能なジェスチャ認識ライブラリを開発した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
アルゴリズムの修正や当初の計画の若干の修正はあったものの，概ね順調に進展している．ただし，日用品デバイスでの本システムの活用を目指したため，計算能力の低いマイコンなどでは先端の研究成果をそのまま実装出来ないなどの制約が生じたことで，この点の再設計で比較的時間を要した．
|
| Strategy for Future Research Activity |
申請内容にそって今後も開発を進める予定である．
手がき／ジェスチャインタフェースにおける可能性を検討
入力デバイスの種類によってジェスチャアルゴリズムには修正が必要となるため，ハードウェアと組み合わせ，デバイス自体の開発も行う．特に加速度センサとデジタルペンを組み合わせることで，従来のデジタルペンでは困難な操作設計も可能となる為，加速度センサと内蔵したデジタルペンを制作する．上記のようなデバイス検討の後，ビジュアル言語や手話などの文法を参考にし，基本的な対話設計指針をまとめる
ソフトウェア実装
先に述べたシンプルな汎用インタフェースを目指したプロトタイピングを行う．また，これらのほか，ビジュアルプログラミング言語様式などを参考にすることで，手がき／ジェスチャによるプログラム手法を実装する．ビジュアルプログラミング環境を模倣することで，手がきオブジェクトを線でつないだり，まるで囲むことで幾つかのプログラミングは可能になる．例えば，前述した手がきテレビリモコンの他，手がきコマンドの組み合わせ命令でロボットが動き出すといった，子供向けプログラミング言語への応用も容易に可能となる．またジェスチャ入力において，申請者らはすでに手話における指文字を深度カメラにより，高精度に検出可能であることを示している．これらを組み合わせることで，プログラマブルな対話設計のためのジェスチャ方式を実装できる．文法を用いて機器操作することで，ボタン操作よりも手軽に目的に達することが期待できる．以上を通じて，目の前の様々なデバイスやアプリケーションを，手がき／ジェスチャを通じてプログラム可能なシステムプロトタイプを仕上げる．
|
| Causes of Carryover |
デバイス作成環境の構築に幾つかの機材トラブル等があり，物品費に偏りが生じてしまった．
|
| Expenditure Plan for Carryover Budget |
2015年度にてこの問題は解消されたため，計画どおりに今後進められると考える
|
Research Products
(7 results)
