2020 Fiscal Year Annual Research Report
Enhancement of handwritten mathematical expression recognition through establishment of multi-dimensional structural analysis
| Project/Area Number |
19H01117
|
|---|
| Research Institution | Tokyo University of Agriculture and Technology |
|---|
Principal Investigator |
中川 正樹 東京農工大学, 工学(系)研究科(研究院), 名誉教授 (10126295)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 手書き数式認識 / 構造解析 / 文脈処理 / 深層ニューラルネットワーク / アテンション |
|---|
| Outline of Annual Research Achievements |
本研究では，シンボル分割，シンボル認識，位置関係認識に曖昧性を有する２次元構造の手書き数式を対象に，その構造認識，特にその中核の文脈処理のレベルを飛躍的に高めることに挑んでいる．2年間の研究において，まず，研究基盤を構築することができた．手書き数式パターンを試験問題に対する解答として収集するツールの開発や，解答をサーバに集めるシステムを作成した．また，数学10問の問題に対する正答と誤答を含む手書き数式解答200人分 (Dset_Mix) を一部疑似的に作成して公開した．さらに，大学新入試の試行として行われた模擬試験の解答5万人×２年分を入手した．
そして，研究の本体においても多くの成果を挙げることができた．CTC-BLSTMを利用したBidirectional Contextによる数式認識システムの作成；半教師付き学習によるend-to-end手書き数式認識のテストベッドの作成；オンライン入力方式あるいはオフライン入力方式の手書き数式に対して深層ニューラルネットワークによる学習した特徴などを用いたクラスタリング手法の提案；半教師付き学習とCTCに補助学習を導入したオフラインの手書き数式認識率の向上；教師データとして一次元のLaTeXではなく2次元の木構造を用いる手書き数式認識学習方式の利点の明確化などである．
これらをQ1論文誌であるPRLに4件，電子情報通信学会の英文誌に1件，国際会議であるICDAR で1件，その関連ワークショップで2件，そして，ICFHRで２件発表している．
本研究は，発足後に国立教育政策研究所の安野史子教授と独立行政法人・大学入試センターの石岡恒徳教授との連携により，想定以上の手書き数式パターンを入手することができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
これまでに，研究基盤として次を実現している：(1)タブレット上に試験問題を表示して解答を得る形で数式を収集するツールを作成した．(2)解答をサーバに収集するシステムを作成した．(3)国立教育政策研究所の安野史子教授との連携で，高校生から数学解答を収集した．(4)数学10問の問題に対する正答と誤答を含む手書き数式解答200人分 (Dset_Mix) を一部疑似的に作成して公開した（正答と誤答を用意し，本物の手書きと人工的に合成したものを合わせて各問200解答用意した）．これはオンライン入力形式であり，時系列情報を落とすことで，オフライン方式の手書き数式の認識手法やクラスタリング手法に評価できる．(5)計画にはなかったが大学新入試の試行として行われた模擬試験の解答5万人×２年分を入手した．さらに研究の本体として次の成果を得ている：(1)数式を表現するContext Free Grammarの最適化を試みた．(2)CTC-BLSTMを利用したBidirectional Contextによる数式認識システムを作成した．(3)半教師付き学習によるend-to-end手書き数式認識のテストベッドを作成した．(4)オンライン入力方式あるいはオフライン入力方式の手書き数式に対して，深層ニューラルネットワークにより学習した特徴などを用いたクラスタリング手法を提案した．(5)高次元特徴を効果的に表現するための距離依存表現を提案した．(6)オンライン入力方式の手書き数式に対してBLSTMによるシンボル分割と認識手法を改善した．(7)半教師付き学習とCTCに補助学習を導入し，オフラインの手書き数式認識率を向上させた．(8)教師データとして一次元のLaTeXではなく2次元の木構造を用いる手書き数式認識学習方式の利点を明確化した．
|
| Strategy for Future Research Activity |
本研究は，発足後に国立教育政策研究所の安野史子教授と独立行政法人・大学入試センターの石岡恒徳教授との連携により，想定以上の手書き数式パターンを入手することができた．これらを計画に反映して，今後は次のことを計画している：(1)BLSTMと木構造表現によりシンボルの関係認識と言語モデルを改善する．(2)複数の箇所にAttentionを払うMulti-attentionの方式としてTransformerXL言語モデルを実現し，BLSTMやn-gramに対するTransformerXL言語モデルの効果を評価する．(3)数式の2次元空間構造を学習するためのグラフモデルとＭRFモデルを比較検討する．(4)確率文脈自由文法の改善を試みる．
(5)オンライン方式とオフライン方式の手書き数式認識のためのTransformer デコーダを実装し評価する．(6)大学新入試の試行模擬解答パターンは有用であるが，独自のオンライン入力形式の解答パターンの収集を継続する．(7)検討してきている複数の方式を評価し，各方式の効果と限界を明らかにする．その理論的解明を試みる．(8)複数方式を統合することで，認識率がどの程度向上するか実験する．(9)一般的な構造解析問題への普遍化を図る．(10)最適方式を数式認識システムやクラスタリングシステムに組み込む．(11)実際の高校生の手書き数式パターンと大学新入試の試行模擬解答パターンを対象に手書き数式解答の自動採点・採点支援システムを実験する．
|
