2019 Fiscal Year Annual Research Report
Enhancement of handwritten mathematical expression recognition through establishment of multi-dimensional structural analysis
| Project/Area Number |
19H01117
|
|---|
| Research Institution | Tokyo University of Agriculture and Technology |
|---|
Principal Investigator |
中川 正樹 東京農工大学, 工学(系)研究科(研究院), 名誉教授 (10126295)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
NGUYENTUAN CUONG 東京農工大学, 工学(系)研究科(研究院), 特任助教 (10814246)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 手書き数式認識 / 構造解析 / 文脈処理 / 深層ニューラルネットワーク / アテンション |
|---|
| Outline of Annual Research Achievements |
本研究では，シンボル分割，シンボル認識，位置関係認識に曖昧性を有する２次元構造の手書き数式を対象に，その構造認識，特にその中核の文脈処理のレベルを飛躍的に高めることに挑んでいる．初年度の研究において，まず，研究基盤を構築することができた．試験問題に対する解答として数式を筆記する際の筆点座標系列（オンライン手書き数式パターン）を収集するツールの開発や，解答をサーバに集めるシステムを作成した．また，数学10問の問題に対する正答と誤答を含むオンライン手書き数式解答200人分 (Dset_Mix) を一部疑似的に作成して公開した．そして，研究の本体においても多くの成果を挙げることができた．Bidirectional Long Short Term Memory Neural Network (BLSTM) とConnectionist Temporal Classification (CTC) を利用した，Bidirectional Contextによるオンライン数式認識システムの作成；半教師付き学習によるend-to-end手書き数式認識のテストベッドの作成；オンライン入力方式あるいはオフライン入力（画像入力）方式の手書き数式に対して深層ニューラルネットワークによる学習した特徴などを用いたクラスタリング手法の提案；半教師付き学習とCTCに補助学習を導入したオフラインの手書き数式認識率の向上などである．これらを，Web of Science のQ1ジャーナルであるPattern Recognition Letters に2件採択され，国際会議では，文書認識と解析で最大の国際会議であるICDARとそのサテライト会議で3件が採択された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では，次のことを達成した．（１）オンライン手書き数式パターンデータベース（HANDS Math）の構築に向けた準備 オンライン手書き数式パターンデータとして，これまでに収集した初等中等レベルの手書き数式パターンやCROHMEデータベースを活用するのはもちろんであるが，手書き数式認識の利用分野を想定し，試験問題の解答を得る方式でオンライン手書き数式パターンを200名程度から収集する．これは，本研究のテーマである手書き数式認識の研究，及び，その応用先としての採点の自動化と採点支援のためのクラスタリングの研究にも利用できる．そのための収集ツールを作成した．（２）解答をサーバに収集するシステムの作成 タブレットに問題を表示して，受験者が解答を筆記し，そのオンライン手書きパターンをサーバに集積するシステムを作成した．（３）正答と誤答を含む手書き数式解答の疑似作成と公開 数学10問の問題に対する正答と誤答を含むオンライン手書き数式解答200人分 (Dset_Mix) を，実際のパターンと一部パターン合成による方法を用いて作成し，公開した．（４）手書き数式認識とクラスタリングのテストベッドの作成 オンライン入力の手書き数式パターンに対して，BLSTM と CTC を利用した方式を作成した．そして，半教師付き学習によるend-to-end手書き数式認識のテストベッドを作成した．これは，今後の手法研究の土台になる．また，オンライン入力方式あるいはオフライン入力方式の手書き数式に対して深層ニューラルネットワークにより学習した特徴などを用いたクラスタリング手法を提案した．そして，研究申請で提案した方式を用いて，手書き数式認識率の向上に取り組んだ．
|
| Strategy for Future Research Activity |
来年度は次のことを計画している（１）国立教育政策研究所の安野史子先生と連携して，高校生からオンライン手書き数学解答を収集する．（２）数式を表現するContext Free Grammarの最適化を試みる．（３）申請書で提案したMath BLSTMテストベットを作成する．（４）Multi-Attention方式とMRF Netのテストベッドの構築にむけて，その方式の認識実験をする．Math BLSTM方法は，木構造の葉から ノードに戻り別の葉に渡るパスを考える．数式のシンボル構造木から重要なパスを選択するアルゴリズムを適用し，そこにBLSTMを適用する．一方，来年度に研究するMulti-Attentionの方法では，Attentionの決定にsoftmax以外の関数を採用し，入力中に分散した複数の項の依存関係を学習させる．MRF Netの方法では，ある数式の木構造から，項の部分木，下付き文字の部分木，上付き文字の部分木などを求めて，それぞれにMRFを考え，重み付き和を計算する．本年度には，国立教育政策研究所の安野史子教授と独立行政法人・大学入試センターの石岡恒徳教授との連携が始まり，当初の想定になかった手書き数式パターンを入手することができそうであり，研究方式にもアドバイスをいただけそうで，より幅広い展開を期待している．
|
