2020 Fiscal Year Research-status Report
仮想・拡張・現実空間で書き込む空中筆記インタフェースの開発
| Project/Area Number |
17K00275
|
|---|
| Research Institution | Toyama Prefectural University |
|---|
Principal Investigator |
中井 満 富山県立大学, 工学部, 講師 (60283149)
|
|---|
| Project Period (FY) |
2017-04-01 – 2022-03-31
|
| Keywords | 手書き文字 / 空中筆記 / 文字認識 / 個人認証 / パターン認識 / ユーザインタフェース / ジェスチャ―インタフェース / バーチャルリアリティ |
|---|
| Outline of Annual Research Achievements |
本課題は、「空中に文字を書く動作(ジェスチャー)」から、その「三次元的に書かれた文字」が「何の文字であるか」「誰が書いているか」「本人が書いているのか」をコンピュータで認識・認証する研究を行うものである。そして、その技術を応用して、現実空間や仮想空間において文字を記録する「空中筆記インタフェース」の開発を行うものである。令和2年度は以下の研究を行った。
1) 仮想空間の筆記インタフェースの研究：いつでもどこでも書ける仮想ホワイトボードを構想し、指先の三次元位置座標を追跡して筆記するインタフェースを評価した。空間に呼び出した筆記面と人差指先延長上の交点を筆点として筆跡を可視化した。筆記面の色・模様・透過度・傾斜角度や指先と筆記面までの距離などの条件を変えて、提示した文字や図形をなぞり書きし、筆記完了までの時間と筆記誤差で評価した。
2) 仮想空間に筆記した線図形による３次元物体検索：指先ではないが、ＶＲのコントローラを用いて線図形を描き、大量の３Ｄモデルの中から検索する研究を行った。線図形と３Ｄモデルを共通のデータ形式に変換し、図形の崩れに頑健な特徴抽出の手法を検討した。
3) 空中筆記した筆跡の照合:指先の三次元位置座標を追跡して得られる筆跡から、文字認識および個人認証をする研究を行った。空中筆記は筆跡を見ずに書く場合、文字部品の位相ずれにより崩れや筆記面が自由なことによる位置ずれ・三次元的な回転が生じる。筆点を時系列の三次元点群として考え、文字パターンの分割と連結による照合法と時間順序制約付きのICPアルゴリズムによる照合法を開発した。
4) 前腕の表面筋電位を用いた指書き文字認識：指先だけで小さく空中筆記したときの前腕の表面筋電位から文字を認識する研究を行った。隠れマルコフモデルよりもリカレントニューラルネットワークの方が高い認識性能であることを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
令和2年度は仮想空間の筆記インタフェースを用いての線図形のデータを収集したが手書き文字の収集はできていない。研究期間を延長して令和3年度も研究を継続する。
|
| Strategy for Future Research Activity |
空中筆記を円滑にするためのジェスチャー認識の研究を行う。空中筆記では日常動作と筆記動作の境界が曖昧になる。拳を握った状態から人差し指を伸ばす動作、あるいはバーチャルなペンを持つ(指でつまむ)動作を文字の書き始めとするなど、スムーズに操作できるインタフェースを検討する。また、文字種(かな漢字等)の切り替えのためのジェスチャー認識も開発する。このジェスチャーの検出に、現実空間では筋電センサを、仮想空間では深度センサを利用する。
|
| Causes of Carryover |
空中筆記インタフェースの検討において、既購入のセンサを使ってデータ収集できため、現新たな装置を購入しなかった。また、仮想空間の筆記インタフェースが試作できたため、次年度は改良・量産して評価する。
|
