2017 Fiscal Year Research-status Report
仮想・拡張・現実空間で書き込む空中筆記インタフェースの開発
| Project/Area Number |
17K00275
|
|---|
| Research Institution | Toyama Prefectural University |
|---|
Principal Investigator |
中井 満 富山県立大学, 工学部, 講師 (60283149)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 手書き文字 / 空中筆記 / 文字認識 / 筆記者認証 / パターン認識 / ユーザインタフェース |
|---|
| Outline of Annual Research Achievements |
本課題は、「空中に文字を書く動作（ジェスチャー）」から、その「三次元的に書かれた文字」が「何の文字であるか」「誰が書いているか」「本人が書いているのか」をコンピュータで認識・認証する研究を行うものである。そして、その技術を応用して、現実空間や仮想空間において文字を記録する「空中筆記インタフェース」の開発を行うものである。平成29年度は以下の研究を行った。
1）空中筆記インタフェースの研究：指先筆記とペン筆記の2種類の空中筆記について、手・指の位置座標を検出する深度カメラ、加速度センサを内蔵したペン、加速度センサを内蔵した腕輪、表面筋電位センサの腕輪を利用し、データを収集した。
2）空中手書き文字の認識：前腕の周りに 8 個の表面筋電位をつけ、指先の小さなモーションでひらがなを空中筆記したときの信号を収集し、隠れマルコフモデルで認識した。この筆記インタフェースでは主に特徴量を比較検討した。また識別器の検討ではペンタブレットで書いた文字データを用いて、隠れマルコフモデルと、深層化したリカレントニューラルネットワークを比較した。
3）空中筆記による筆記者の識別・認証：指先筆記による筆記者認証では、深度カメラで指先の位置座標を追跡し、空中での署名による筆記者認証を行った。現実空間では筆跡が見えないため、字形の崩れに強い照合法を検討した。ペン筆記による筆記者認証では、ペンの持ち方の個人性に着目し、筆記中の形状変化を利用した照合法を検討した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
平成29年度は交付申請書に計画した通りに実施できた。空中での筆記動作のデータ収集のためにモーションキャプチャ装置を購入する予定であったが、安価なカメラやさまざまなセンサで筆記信号を取得することができたので、予定よりも支出を大きく抑えることができた。また、次年度の計画としていた筆記者識別・認証の研究を進めることができた。その一方で、仮想空間のシステム構築が遅れている。そのため、おおむね順調であると自己評価した。
|
| Strategy for Future Research Activity |
平成30年度は自然な姿勢で書いた空中手書き文字データの収集と分析を継続する。センサ把持型（内蔵型）の筆記では、利き手の複数箇所（人差指、手の甲、前腕）にモーションセンサ（加速度センサ、角速度センサ、筋電センサ）を装着し、空間で行動する信号および空中筆記の信号を収集する。センサ設置型の筆記ではカメラ（深度センサ）の置かれた空間で筆記する。現実空間での使用では筆跡は見えないので、腕を地面に向けて、あるいはズボンの上で小さく書く。また、仮想空間での使用ではディスプレイで筆跡を可視化するので指先を目視しながら書く。筆記する向きが自由な（床向きだったり、壁向きだったりする）ため、センサ把持型（内蔵型）の筆記では筆記面の推定を、センサ設置型の筆記では筆跡の位置合わせの精度を高め、書かれた文字の信号を取り出す。文字認識、筆記者識別で評価する。
|
| Causes of Carryover |
空中筆記インタフェースの検討において、既購入のセンサを使ってデータ収集できため、新たな装置を購入しなかった。また、仮想空間での実験・研究を平成30年度以降で計画していたため、購入時期をその装置が必要となる次年度に先送りした。
|
