2021 Fiscal Year Annual Research Report
Enhancement of handwritten mathematical expression recognition through establishment of multi-dimensional structural analysis
| Project/Area Number |
19H01117
|
|---|
| Research Institution | Tokyo University of Agriculture and Technology |
|---|
Principal Investigator |
中川 正樹 東京農工大学, 学内共同利用施設等, 特任教授 (10126295)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 手書き数式認識 / 構造解析 / 文脈処理 / 深層ニューラルネットワーク / アテンション |
|---|
| Outline of Annual Research Achievements |
本研究では，シンボル分割，シンボル認識，位置関係認識のすべてに曖昧性を有する２次元構造の手書き数式を対象に，その構造認識，特にその中核の文脈処理のレベルを飛躍的に高めることを目標にしている．手書き変動が字形だけでなく位置変動にも生じるために，上記のすべてに影響を与える課題である．ただし，手書き数式認識に特化した手法ではなく，汎用性の高い手法を求めている．したがって，手書き数式認識を包含して，より包括的な構造解析的パターン認識の進展を阻んできたノイズを含む多次元構造あるいはグラフ構造の曖昧性解消に資することを目指してきた．
これまでに，すでに有する複数の認識システムを母体に，考えられる複数の方法を試してきた．それらは，ゲート付きのRecurrent Neural Network (RNN）の２次元化，ラベル付き学習パターンの不足を補う半教師付き学習，複数の部分構造にAttentionを払うend-to-endのDNN，最新のTransformerモデルなどである．さらに，学習パターン数を人工的に拡大するために，手書き数式パターンの自動生成手法も研究してきた．また，大学新入試の試行として行われた模擬試験解答パターン6万人×2年分を研究用途に入手し，数式認識方式の学習に供することができた．加えて，数式解答の自動採点や採点支援を見越し，研究計画を先取りして手書き数式のクラスタリングの研究にも着手した．これらの成果をScopusのQ1論文誌であるPattern Recognition Letters 誌に2件，文書解析と認識の最大の国際会議であるInt’l Conf. on Document Analysis and Recognitionとその関連ワークショップなどに8件，電子情報通信学会のPRMU研究会で3件，発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
研究開発は加速している．本予算で特任助教を雇用することができたうえに，大学予算で別の特任助教を雇用でき，さらに，博士課程学生が研究に集中できた効果が大きい．コロナ禍でも，研究室会議を短時間であるが毎日Ｗｅｂで開催し，研究の進捗管理と軌道修正を行ってきた．さらに，大学新入試の試行として行われた模擬試験に対する手書き解答パターン6万人×2年分を研究用途に入手できたことが大きい．これには正誤のラベルは付されているものの，筆記数式のラベルがないことなら現時点はそれを付与する手間はあるが，それでもこの規模での実際の手書き数式解答パターンは自前で集積しようとすると莫大な予算と手間を要する．これらのおかげで，手書き数式認識は手書き日本語認識や英語認識の水準に近くなってきた．これを受けて，この次の段階である数式解答の自動採点や採点支援を見越し，研究計画を先取りして手書き数式のクラスタリングの研究にも着手することができた．
|
| Strategy for Future Research Activity |
来年度は，手書き数式認識技術，クラスタリング技術の完成度を高めることとともに，これを手書き数式解答の自動採点・採点支援に利用する基本方式の研究開発に取り組む．手書き数式認識を日本語文や英語文並みに高められれば（つまり，９５％程度の認識率が達成できれば），高校レベルまでの手書き数式解答による自学自習（ユーザが認識結果を確認し誤認識があれば訂正して即座に正誤を確認して学習すること）や，記述式数式解答の自動採点・採点支援（機械で採点する方式・機械による事前の仮採点やグループ分けをして人が採点する方式）の土台ができる．採点支援は，受験者が採点を確認できない大学新入試などに期待される方式で，採点効率と採点の信頼性を共に高めることができる．手書き数式認識の認識過程から得られるシンボル分割，シンボル認識，位置関係認識，構造認識の特徴がクラスタリングに利用できる．これらのために，手書き数式解答の自動採点・採点支援システムのプロトタイプを作成する．箇条書きにすると次のとおりである．
(1)手書き数式認識技術，クラスタリング技術の最適化：人工によるものと実際の手書き数式パターンを活用して，一層の学習を進めるともに手法の改善を図る．(2)手書き数式解答の自動採点・採点支援システムのプロトタイプ作成：ネットワークを介して手書き答案を受け取り，その採点結果やクラスタリング結果を返すプロトタイプを作成する．(3)上記プロトタイプへの数式認識システム，クラスタリングシステムの組込み：項目（１）で得られる最適方式の数式認識システム，クラスタリングシステムを上記の自動採点・採点支援のプロトタイプに組み込む．(4)総合評価と学会発表：各要素技術だけでなく，システム全体の性能とそれに及ぼす各要素の寄与を評価する．そして，これまでと同様に，一流の国際学術誌と国際学会で発表する．
|
