| 研究課題/領域番号 |
17K00275
|
|---|
| 研究機関 | 富山県立大学 |
|---|
研究代表者 |
中井 満 富山県立大学, 工学部, 講師 (60283149)
|
|---|
| 研究期間 (年度) |
2017-04-01 – 2023-03-31
|
| キーワード | 手書き文字 / 空中筆記 / 文字認識 / 個人認証 / パターン認識 / ユーザインタフェース / ジェスチャ―インタフェース / バーチャルリアリティ |
|---|
| 研究実績の概要 |
本課題は、「空中に文字を書く動作(ジェスチャー)」から、その「三次元的に書かれた文字」が「何の文字であるか」「誰が書いているか」「本人が書いているのか」をコンピュータで認識・認証する研究を行うものである。そして、その技術を応用して、現実空間や仮想空間において文字を記録する「空中筆記インタフェース」の開発を行うものである。令和3年度は以下の研究を行った。
1) 前腕の表面筋電位を用いた指書き文字認識：指先だけで小さく空中筆記したときの前腕の表面筋電位から文字を認識する研究を行った。リカレントニューラルネットワークを用い、装着位置ずれを考慮したデータ拡張によって認識性能を向上した。
2) 仮想空間に筆記した線図形による三次元物体検索：指先ではないが、ＶＲのコントローラを用いて線図形を描き、大量の３Ｄモデルの中から検索する研究を行った。線図形と３Ｄモデルを共通のデータ形式に変換し、図形の崩れに頑健な特徴抽出の手法を検討した。
3) 筆記の途中の文字の早期認識：ひらがな46文字を識別するリカレントニューラルネットワークを用い、各々のひらがなの認識に必要な筆記率（文字の途中まで、どのくらい書けば正しく認識できるか）を調べた。その筆記率を基準にしてデータ拡張を行い、再学習し、筆記率を平均で5.2ポイント削減、最大で20.2ポイント削減できることが分かった。
4) 筆跡補完システム：ペンタブレットで書かれた筆跡を文字コードに変換する手書き文字認識部、文字認識された結果から書こうとしている文字を予測する文字予測部、文字の予測結果をもとに入力された筆跡に続く筆跡を生成する手書き文字生成部で構成した。ひらがな5文字を普通に筆記した場合では4.7秒かかるところ、2文字筆記時点で予測して筆跡を補完すると1.8秒で筆記できることが分かった。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
令和3年度は仮想空間の筆記インタフェースを用いての線図形のデータを収集したが手書き文字の収集はできていない。研究期間を延長して令和4年度も研究を継続する。
|
| 今後の研究の推進方策 |
空中筆記を円滑にするためのジェスチャー認識の研究を行う。空中筆記では日常動作と筆記動作の境界が曖昧になる。拳を握った状態から人差し指を伸ばす動作、あるいはバーチャルなペンを持つ(指でつまむ)動作を文字の書き始めとするなど、スムーズに操作できるインタフェースを検討する。また、文字種(かな漢字等)の切り替えのためのジェスチャー認識も開発する。このジェスチャーの検出に、現実空間では筋電センサを、仮想空間では深度センサを利用する。
|
| 次年度使用額が生じた理由 |
空中筆記インタフェースの検討において、既購入のセンサを使ってデータ収集できため、現新たな装置を購入しなかった。また、仮想空間の筆記インタフェースが試作できたため、次年度は改良・量産して評価する。
|
