• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

筆跡を予測・補完・整形する手書きインタフェースの開発

Research Project

Project/Area Number 21K11998
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61020:Human interface and interaction-related
Research InstitutionToyama Prefectural University

Principal Investigator

中井 満  富山県立大学, 工学部, 講師 (60283149)

Project Period (FY) 2021-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2021: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Keywords手書き文字 / 文字認識 / パターン認識 / 筆跡生成 / ユーザインタフェース / 入力インタフェース / 筆跡パターン生成
Outline of Research at the Start

本課題は、ペンタブレットや仮想・拡張空間で手書きした電子データの筆跡に対し、その後に書かれるであろう「筆跡を予測」して素早い書き込みを実現すること、筆跡から書こうとする文章を予測して「筆跡で補完」すること、走り書きで読みにくくなった「筆跡を整形」して書き直しの手間を省くこと、この3つを目的としている。
これによって、音声入力やキーボード入力と比べて遅くなりがちな手書き入力を高速にする。ウェアラブルPCやスマートフォンの入力インタフェースとしての利用をはじめ、拡張現実空間での筆記による情報共有、インターネットでつながる仮想空間での協調作業など、様々な状況における手書き入力を支援する技術を開発する。

Outline of Annual Research Achievements

本課題は、ペンタブレットや仮想・拡張空間で手書きした電子データの筆跡に対し、その後に書かれるであろう「筆跡を予測」して素早い書き込みを実現すること、筆跡から書こうとする文章を予測して「筆跡で補完」すること、走り書きで読みにくくなった「筆跡を整形」して書き直しの手間を省くこと、この3つを目的としている。令和5年度は以下の研究を行った。
1) 筆記途中の筆跡から残りの筆跡を生成補完する研究を行った。のべ190人から集めたひらがなの筆跡をRNNで学習し、一画目を書いて残りを生成した筆跡、二画目まで書いて残りを生成した筆跡を評価する客観的手法を検討した。目標となる本人の筆跡との画間距離や重心距離、画の外接矩形の面積比、曲率など、9つの指標で数値化して類似度評価をした。また、同指標を特徴量として可読度の分類評価をした。
2) タブレット筆記で画のはみ出しや偏と傍の重なりなど、書き損じた文字を整形する手法を検討した。走り書き文字の認識結果を利用して、その文字の平均筆跡を参照し、画間のバランスを補正する手法を提案した。
3) 3次元空間で筆記する場合、紙面と異なってペンの接地がなく、素早く筆記すると余分な筆跡が残るか一筆書きになる。そこで、紙面で筆記した筆跡から、ペンのオン/オフ区間をRNNで学習し、一筆書きの非文字区間を除去するシステムを構築した。
4) 遠方の空間に指書きするインタフェースを考案した。そのために空中で指差しするRGB画像および深度画像を処理し、指し示す位置座標を推定する研究を行った。

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

筆記中の文字の早期認識については漢字まで拡張できた。早期認識の後処理となる筆跡補完についてはひらがなに対して筆跡を生成できる見込みを得た。筆跡の整形については実験中である。また、仮想空間での筆記を実現した。これらを統合したシステム構築、評価実験はまだである。

Strategy for Future Research Activity

タブレット筆記の研究と平行して仮想空間における筆記支援の研究も進める。実空間の手の情報を仮想空間に映し、ヘッドマウントディスプレイで目視するシステムを使いやすく改善する。予測した筆跡候補の選択や誤って整形された筆跡の削除など、簡単なアクションによるジェスチャー認識を検討する。また、空中筆記では日常動作と筆記動作の境界が曖昧になる。拳を握った状態から人差し指を伸ばす動作、あるいはバーチャルなペンを持つ(指でつまむ)動作を文字の書き始めとするなど、スムーズに操作できるインタフェースを検討する。

Report

(3 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Research-status Report
  • Research Products

    (6 results)

All 2023 2022 2021

All Presentation (6 results)

  • [Presentation] LSTMを用いた筆記途中からの筆跡補完2023

    • Author(s)
      長岩夏子,中井 満
    • Organizer
      第22回情報科学技術フォーラム(FIT2023)
    • Related Report
      2023 Research-status Report
  • [Presentation] LSTMで補完した筆跡の評価2023

    • Author(s)
      長岩夏子,中井 満
    • Organizer
      2023年度電気・情報関係学会北陸支部連合大会
    • Related Report
      2023 Research-status Report
  • [Presentation] VR 空間に描いた線画像による 3D モデル検索2022

    • Author(s)
      上馬 拓己, 新田 藍花, 中井 満
    • Organizer
      第21回情報科学技術フォーラム(FIT2022)
    • Related Report
      2022 Research-status Report
  • [Presentation] 前腕の表面筋電位を用いた RNN による指書き文字認識2021

    • Author(s)
      坂井浩志郎, 中井 満
    • Organizer
      第20回情報科学技術フォーラム(FIT2021)
    • Related Report
      2021 Research-status Report
  • [Presentation] 前腕の表面筋電位を用いたRNN指書き文字認識2021

    • Author(s)
      坂井浩志郎, 中井 満
    • Organizer
      2021年度 電気・情報関係学会北陸支部連合大会
    • Related Report
      2021 Research-status Report
  • [Presentation] 前腕の表面筋電位を用いたRNN指書き文字認識の評価2021

    • Author(s)
      坂井浩志郎, 中井 満
    • Organizer
      2021年 電気学会 電子・情報・システム部門大会
    • Related Report
      2021 Research-status Report

URL: 

Published: 2021-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi