| Project/Area Number |
21K11998
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61020:Human interface and interaction-related
|
|---|
| Research Institution | Toyama Prefectural University |
|---|
Principal Investigator |
中井 満 富山県立大学, 工学部, 講師 (60283149)
|
|---|
| Project Period (FY) |
2021-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2021: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
|
|---|
| Keywords | 手書き文字 / 文字認識 / パターン認識 / 筆跡生成 / ユーザインタフェース / 入力インタフェース / 筆跡パターン生成 |
|---|
| Outline of Research at the Start |
本課題は、ペンタブレットや仮想・拡張空間で手書きした電子データの筆跡に対し、その後に書かれるであろう「筆跡を予測」して素早い書き込みを実現すること、筆跡から書こうとする文章を予測して「筆跡で補完」すること、走り書きで読みにくくなった「筆跡を整形」して書き直しの手間を省くこと、この3つを目的としている。
これによって、音声入力やキーボード入力と比べて遅くなりがちな手書き入力を高速にする。ウェアラブルPCやスマートフォンの入力インタフェースとしての利用をはじめ、拡張現実空間での筆記による情報共有、インターネットでつながる仮想空間での協調作業など、様々な状況における手書き入力を支援する技術を開発する。
|
| Outline of Annual Research Achievements |
本課題は、ペンタブレットや仮想・拡張空間で手書きした電子データの筆跡に対し、その後に書かれるであろう「筆跡を予測」して素早い書き込みを実現すること、筆跡から書こうとする文章を予測して「筆跡で補完」すること、走り書きで読みにくくなった「筆跡を整形」して書き直しの手間を省くこと、この3つを目的としている。令和5年度は以下の研究を行った。
1) 筆記途中の筆跡から残りの筆跡を生成補完する研究を行った。のべ190人から集めたひらがなの筆跡をRNNで学習し、一画目を書いて残りを生成した筆跡、二画目まで書いて残りを生成した筆跡を評価する客観的手法を検討した。目標となる本人の筆跡との画間距離や重心距離、画の外接矩形の面積比、曲率など、9つの指標で数値化して類似度評価をした。また、同指標を特徴量として可読度の分類評価をした。
2) タブレット筆記で画のはみ出しや偏と傍の重なりなど、書き損じた文字を整形する手法を検討した。走り書き文字の認識結果を利用して、その文字の平均筆跡を参照し、画間のバランスを補正する手法を提案した。
3) 3次元空間で筆記する場合、紙面と異なってペンの接地がなく、素早く筆記すると余分な筆跡が残るか一筆書きになる。そこで、紙面で筆記した筆跡から、ペンのオン/オフ区間をRNNで学習し、一筆書きの非文字区間を除去するシステムを構築した。
4) 遠方の空間に指書きするインタフェースを考案した。そのために空中で指差しするRGB画像および深度画像を処理し、指し示す位置座標を推定する研究を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
筆記中の文字の早期認識については漢字まで拡張できた。早期認識の後処理となる筆跡補完についてはひらがなに対して筆跡を生成できる見込みを得た。筆跡の整形については実験中である。また、仮想空間での筆記を実現した。これらを統合したシステム構築、評価実験はまだである。
|
| Strategy for Future Research Activity |
タブレット筆記の研究と平行して仮想空間における筆記支援の研究も進める。実空間の手の情報を仮想空間に映し、ヘッドマウントディスプレイで目視するシステムを使いやすく改善する。予測した筆跡候補の選択や誤って整形された筆跡の削除など、簡単なアクションによるジェスチャー認識を検討する。また、空中筆記では日常動作と筆記動作の境界が曖昧になる。拳を握った状態から人差し指を伸ばす動作、あるいはバーチャルなペンを持つ（指でつまむ）動作を文字の書き始めとするなど、スムーズに操作できるインタフェースを検討する。
|
