2021 Fiscal Year Research-status Report
筆跡を予測・補完・整形する手書きインタフェースの開発
| Project/Area Number |
21K11998
|
|---|
| Research Institution | Toyama Prefectural University |
|---|
Principal Investigator |
中井 満 富山県立大学, 工学部, 講師 (60283149)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 手書き文字 / 文字認識 / パターン認識 / 筆跡生成 / ユーザインタフェース |
|---|
| Outline of Annual Research Achievements |
本課題は、ペンタブレットや仮想・拡張空間で手書きした電子データの筆跡に対し、その後に書かれるであろう「筆跡を予測」して素早い書き込みを実現すること、筆跡から書こうとする文章を予測して「筆跡で補完」すること、走り書きで読みにくくなった「筆跡を整形」して書き直しの手間を省くこと、この3つを目的としている。令和3年度は以下の研究を行った。
1) 文字レベルの筆跡補完を実現するため、筆記の途中で文字を確定する早期認識の研究を行った。ひらがな46文字を識別するリカレントニューラルネットワークを学習し、個々のひらがな文字種の認識に必要な筆記率（文字の途中まで、どのくらい書けば正しく認識できるか）を調べた。その筆記率を基準にしてデータ拡張を行い、再学習することで、筆記率を平均で5.2ポイント削減、最大で20.2ポイント削減できることが分かった。
2) 文章レベルの筆跡補完システムを構築した。このシステムは、ペンタブレットで書かれた筆跡を文字コードに変換する手書き文字認識部、文字認識された結果から書こうとしている文字を予測する文字予測部、文字の予測結果をもとに入力された筆跡に続く筆跡を生成する手書き文字生成部で構成されている。ひらがな5文字を普通に筆記した場合では4.7秒かかるところ、2文字筆記時点で予測して筆跡を補完すると1.8秒で筆記できることが分かった。
3) 走り書きで読みにくくなった筆跡を整形する手法を検討した。現在、プログラムを実装しているところである。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
令和3年度は筆記中の文字の早期認識と書こうとしている文字の筆跡生成について、最初の研究結果が得られた。
|
| Strategy for Future Research Activity |
タブレット筆記の研究と平行して仮想空間における筆記支援の研究も進める。
実空間の手の情報を仮想空間に映し、ヘッドマウントディスプレイで目視するシステムを構築する。
予測した筆跡候補の選択や誤って整形された筆跡の削除など、簡単なアクションによるジェスチャー認識を検討する。また、空中筆記では日常動作と筆記動作の境界が曖昧になる。拳を握った状態から人差し指を伸ばす動作、あるいはバーチャルなペンを持つ（指でつまむ）動作を文字の書き始めとするなど、スムーズに操作できるインタフェースを検討する。
|
| Causes of Carryover |
当初、GPUワークステーションを購入予定であったが、大学の共用設備で利用できるようになったため、今年度は購入しなかった。次年度以降、実験頻度が増えてGPUの占有が必要になったときに購入する。
|
