2018 Fiscal Year Research-status Report
仮想・拡張・現実空間で書き込む空中筆記インタフェースの開発
| Project/Area Number |
17K00275
|
|---|
| Research Institution | Toyama Prefectural University |
|---|
Principal Investigator |
中井 満 富山県立大学, 工学部, 講師 (60283149)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 手書き文字 / 空中筆記 / 文字認識 / 個人認証 / パターン認識 / ユーザインタフェース / ジェスチャーインタフェース |
|---|
| Outline of Annual Research Achievements |
本課題は、「空中に文字を書く動作（ジェスチャー）」から、その「三次元的に書かれた文字」が「何の文字であるか」「誰が書いているか」「本人が書いているのか」をコンピュータで認識・認証する研究を行うものである。そして、その技術を応用して、現実空間や仮想空間において文字を記録する「空中筆記インタフェース」の開発を行うものである。平成30年度は以下の研究を行った。
1) ハンドジェスチャーインタフェースの研究：複数のカメラが見守る室内を想定し、ジェスチャー動作で機器を操作できるインテリジェントルームの研究を行った。日常動作をジェスチャー操作として誤検出しないことを目標として、区別しやすい両手を使ったジェスチャー開始動作を考案した。深度センサとRGBカメラを用いて、三次元空間の肌色点群を追跡し、接触の仕方の違いから動作を識別する手法を開発した。
2) 空中筆記した筆跡の照合：指先の三次元位置座標を追跡して得られる筆跡から、文字認識および個人認証をする研究を行った。空中筆記は筆記面が自由であり、文字の拡大縮小・平行移動・三次元的な回転が生じる。筆点を時系列の三次元点群として考え、時間順序制約付きのICPアルゴリズムによる照合法を開発した。
3) 手形状による筆記者照合：ペンの持ち方の個人性に着目し、筆記中の手形状の変化を利用して筆記者を認証する研究を行った。手形状の三次元点群時系列の動的時間伸縮による照合法、および手の動きのシルエットパワーと深度分散を用いた照合法を比較検討した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
平成30年度は交付申請書に計画した二つのうち、筆記者識別・認証については研究を進めることができた。その一方で、仮想空間の筆記インタフェースのシステム構築が遅れている。そのため、やや遅れている自己評価した。
|
| Strategy for Future Research Activity |
携帯端末に空中筆記インタフェースを実装する。指輪型・腕輪型の加速度・角速度センサと距離センサを装着したヘッドマウントディスプレイを組み合わせ、仮想空間での文字入力と筆記者認証システムを試作・評価する。
仮想空間での空中筆記インタフェースを構築する。実空間の手の情報を仮想空間に映し、ヘッドマウントディスプレイで目視するシステムを構築する。手の位置検出のために頭部と腰部に距離センサを装着し、筆記動作の検出のために加速度・角速度・筋電センサを腕に装着する。初年度に検討した文字認識器と筆記者識別器をシステムに実装する。
空中筆記を円滑にするためのジェスチャー認識の研究を行う。空中筆記では日常動作と筆記動作の境界が曖昧になる。拳を握った状態から人差し指を伸ばす動作、あるいはバーチャルなペンを持つ(指でつまむ)動作を文字の書き始めとするなど、スムーズに操作できるインタフェースを検討する。また、文字種(かな漢字等)の切り替えのためのジェスチャー認識も開発する。このジェスチャーの検出に、現実空間では筋電センサを、仮想空間では深度センサを利用する。
|
| Causes of Carryover |
空中筆記インタフェースの検討において、既購入のセンサを使ってデータ収集できため、新たな装置を購入しなかった。また、仮想空間の筆記インタフェースのシステム構築が遅れているため、購入時期をその装置が必要となる次年度に先送りした。
|
