2020 Fiscal Year Research-status Report
Research on the Handwriting Trajectory Reconstruction and Recognition with Wearable Sensing Method
| Project/Area Number |
18K11400
|
|---|
| Research Institution | The University of Aizu |
|---|
Principal Investigator |
荊 雷 会津大学, コンピュータ理工学部, 上級准教授 (30595509)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
裴 岩 (裴岩) 会津大学, コンピュータ理工学部, 准教授 (30736004)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 手書き認識 / wearable computing / handwriting / tracking / data fusion |
|---|
| Outline of Annual Research Achievements |
今年度に筆跡追跡用のセンサデータ融合手法、筆跡記録用デジタル手袋について、研究を行いました。
- 慣性センサのデータ融合手法：筆跡追跡用の加速度、角速度、磁気センサの精度、安定性とリアルタイム性を改善するために、Light-Weight Extended Kalman Filter (略LEKF)と言うデータ融合手法を提案しました。従来のEKFなら、計算コストが高く、小さいマイコンなどに実行することができません。今回、提案したLEKFなら、計算コストがEKFの十分の一までに減らし、精度と安定性も保つことができます。この研究成果がIEEE Sensors Journalに投稿し、採録されました。
- 筆跡記録用デジタル手袋の研究：当初に提案した指先に一個だけの慣性センサの案を改善して、複数慣性センサを利用したデジタル手袋の研究も始めました。手書きが手全体の動きなので、手全体の動作から、筆跡を精度良く復元できないかの発想です。今年度に、手書きに利用する３本の指（親指、人差し指、中指）にセンサを付けて、動作追跡などの検証実験を行いました。この研究成果がSenSys20と言う国際会議にデモ発表されました。
- 指先センサによる筆跡追跡の特許：指先センサによる筆跡追跡の特許が登録されました。従来の技術では、筆記具の動きを検出する検出装置を内蔵した筆記具を用いた場合にのみ、手書き文字を認識することが可能であり、そのような検出装置を内蔵しない一般の筆記具(例えば、一般に市販されているボールペンや鉛筆)を用いた場合には、手書き文字を認識することが可能でない。さらに、従来の手書き文字認識装置では、筆記具が移動した軌跡から文字を分離する処理の精度が低いため、その結果、手書き文字の認識精度が低い。本特許は、手書き文字の認識精度が高い手書き文字認識装置、検出装置および処理装置を提供することを目的とする。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
当初の提案によると、今年度は文字認識手法の開発に進める予定でしたが、
当初に提案した一個だけのセンサを利用する案について、追跡の精度がセンチメートルぐらい、大きいな文字サイズなら、筆跡復元が可能ですが、通常の文字サイズなら、精度が足りないことがわかりました。ですから、案を改善し、複数センサを利用した手袋装置のテストにしました。
|
| Strategy for Future Research Activity |
来年度に、指先だけの筆跡認識と手袋の手書き認識を同時に推進して行きたいです。研究の内容が三つあります。
- 文字認識手法の研究：GCNなどの機械学習を活用し、手のスケルトンを利用した筆跡追跡と認識の手法を研究開発します。
- 手のスケルトン検出の研究：指先センサーを用いた回帰手法から、スケルトン検出の手法、およびカメラからのスケルトン検出手法、二つの手法を試してみます。
- 筆跡追跡と認識の比較研究：指先センサと手袋、二つの筆跡検知手法を比べ、実用性高い筆跡追跡及び復元手法を確立します。
|
| Causes of Carryover |
予定に今年度に行う実験が延期しました。
|
