2019 Fiscal Year Research-status Report
仮想・拡張・現実空間で書き込む空中筆記インタフェースの開発
| Project/Area Number |
17K00275
|
|---|
| Research Institution | Toyama Prefectural University |
|---|
Principal Investigator |
中井 満 富山県立大学, 工学部, 講師 (60283149)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 手書き文字 / 空中筆記 / 文字認識 / 個人認証 / パターン認識 / ユーザインタフェース / ジェスチャ―インタフェース / バーチャルリアリティ |
|---|
| Outline of Annual Research Achievements |
本課題は、「空中に文字を書く動作(ジェスチャー)」から、その「三次元的に書かれた文字」が「何の文字であるか」「誰が書いているか」「本人が書いているのか」をコンピュータで認識・認証する研究を行うものである。そして、その技術を応用して、現実空間や仮想空間において文字を記録する「空中筆記インタフェース」の開発を行うものである。令和元年度は以下の研究を行った。
1) 仮想空間の筆記インタフェースの研究：いつでもどこでも書ける仮想ホワイトボードを構想し、指先の三次元位置座標を追跡して筆記するインタフェースを構築した。空間に呼び出した筆記面と人差指先延長上の交点を筆点として筆跡を可視化した。筆記面の色・模様・透過度・傾斜角度や指先と筆記面までの距離などの条件を変えて、提示した文字や図形をなぞり書きし、筆記完了までの時間と筆記誤差で評価した。
2) 空中筆記した筆跡の照合:指先の三次元位置座標を追跡して得られる筆跡から、文字認識および個人認証をする研究を行った。空中筆記は筆跡を見ずに書く場合、文字部品の位相ずれにより崩れや筆記面が自由なことによる位置ずれ・三次元的な回転が生じる。筆点を時系列の三次元点群として考え、文字パターンの分割と連結による照合法と時間順序制約付きのICPアルゴリズムによる照合法を開発した。
3) 手形状による筆記者照合:ペンの持ち方の個人性に着目し、筆記中の手形状の変化を利用して筆記者を認証する研究を行った。手形状の三次元点群時系列の動的時間伸縮による照合法、および手の動きのシルエットパワーと深度分散を用いた照合法を比較検討した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
令和元年度は平成30年度に予定していた仮想空間の筆記インタフェースのシステム構築に着手できた。研究期間を延長して令和2年度も研究を継続する。
|
| Strategy for Future Research Activity |
携帯端末に空中筆記インタフェースを実装する。指輪型・腕輪型の加速度・角速度センサと距離センサを装着したヘッドマウントディスプレイを組み合わせ、仮想空間での文字入力と筆記者認証システムを試作・評価する。
構築した仮想空間での空中筆記インタフェースを評価する。実空間の手の情報を仮想空間に映し、ヘッドマウントディスプレイで目視するシステムを構築する。手の位置検出のために頭部と腰部に距離センサを装着し、筆記動作の検出のために加速度・角速度・筋電センサを腕に装着する。初年度に検討した文字認識器と筆記者識別器をシステムに実装する。
空中筆記を円滑にするためのジェスチャー認識の研究を行う。空中筆記では日常動作と筆記動作の境界が曖昧になる。拳を握った状態から人差し指を伸ばす動作、あるいはバーチャルなペンを持つ(指でつまむ)動作を文字の書き始めとするなど、スムーズに操作できるインタフェースを検討する。また、文字種(かな漢字等)の切り替えのためのジェスチャー認識も開発する。このジェスチャーの検出に、現実空間では筋電センサを、仮想空間では深度センサを利用する。
|
| Causes of Carryover |
空中筆記インタフェースの検討において、既購入のセンサを使ってデータ収集できため、新たな装置を購入しなかった。また、仮想空間の筆記インタフェースが試作できたため、次年度は改良・量産して評価する。
|
Research Products
(2 results)
