| 研究課題/領域番号 |
21K11998
|
|---|
| 研究機関 | 富山県立大学 |
|---|
研究代表者 |
中井 満 富山県立大学, 工学部, 講師 (60283149)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| キーワード | 手書き文字 / 文字認識 / パターン認識 / 筆跡生成 / ユーザインタフェース |
|---|
| 研究実績の概要 |
本課題は、ペンタブレットや仮想・拡張空間で手書きした電子データの筆跡に対し、その後に書かれるであろう「筆跡を予測」して素早い書き込みを実現すること、筆跡から書こうとする文章を予測して「筆跡で補完」すること、走り書きで読みにくくなった「筆跡を整形」して書き直しの手間を省くこと、この3つを目的としている。令和4年度は以下の研究を行った。
1) 文字レベルの筆跡補完を実現するため、筆記の途中で文字を確定する早期認識の研究を行った。令和3年度のひらがな46文字に対し、令和4年度は画数の多い漢字1016文字を識別するリカレントニューラルネットワークを学習した。筆記途中のサンプルにその時点で類似している文字ラベルと筆記しようとしている文字ラベルを与える、重み付けマルチラベルエンコーディングを開発し、早期認識率を改善した。その結果、文字認識のための筆記時間を41.3%まで短縮した。
2) 筆記途中の筆跡から残りの筆跡を生成し、補完する研究を行った。令和4年度はのべ190人から集めたひらがな「あ」の筆跡をLSTMで学習し、一画目を書いて残りの筆跡を生成する実験、二画目まで書いて残りの筆跡を生成する実験を行った。その結果、生成にかかる時間は筆記と比べて十分早く、およそ2分の1の割合で可読な文字を生成できることが分かった。
3) 仮想空間で筆記する場合、紙面と異なってペンの接触がないので、素早く筆記すると余分な筆跡が残るか、一筆書きになる。そこで、非文字区間を推定して除去するシステムを構築した。一画ずつ分けて筆記する場合と比べ、筆記にかかる時間は3分の2程度に短縮できることが分かった。
4) 走り書きで読みにくくなった筆跡を整形する手法を検討した。現在、プログラムを実装しているところである。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
筆記中の文字の早期認識について漢字まで拡張できた。また、早期認識の後処理となる筆跡補完についても筆跡を生成できる見込みを得た。また、仮想空間での筆記を実現した。
|
| 今後の研究の推進方策 |
タブレット筆記の研究と平行して仮想空間における筆記支援の研究も進める。
実空間の手の情報を仮想空間に映し、ヘッドマウントディスプレイで目視するシステムを使いやすく改善する。
予測した筆跡候補の選択や誤って整形された筆跡の削除など、簡単なアクションによるジェスチャー認識を検討する。また、空中筆記では日常動作と筆記動作の境界が曖昧になる。拳を握った状態から人差し指を伸ばす動作、あるいはバーチャルなペンを持つ（指でつまむ）動作を文字の書き始めとするなど、スムーズに操作できるインタフェースを検討する。
|
| 次年度使用額が生じた理由 |
当初、GPUワークステーションを購入予定であったが、大学の共用設備で利用できるようになったため、今年度は購入しなかった。次年度以降、実験頻度が増えてGPUの占有が必要になったときに購入する。
|
