| Project/Area Number |
19H01117
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (A)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | Tokyo University of Agriculture and Technology |
|---|
Principal Investigator |
Nakagawa Masaki 東京農工大学, 学内共同利用施設等, 特任教授 (10126295)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
NGUYENTUAN CUONG 東京農工大学, 工学(系)研究科(研究院), 特任助教 (10814246)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥37,830,000 (Direct Cost: ¥29,100,000、Indirect Cost: ¥8,730,000)
Fiscal Year 2022: ¥9,620,000 (Direct Cost: ¥7,400,000、Indirect Cost: ¥2,220,000)
Fiscal Year 2021: ¥8,060,000 (Direct Cost: ¥6,200,000、Indirect Cost: ¥1,860,000)
Fiscal Year 2020: ¥9,880,000 (Direct Cost: ¥7,600,000、Indirect Cost: ¥2,280,000)
Fiscal Year 2019: ¥10,270,000 (Direct Cost: ¥7,900,000、Indirect Cost: ¥2,370,000)
|
|---|
| Keywords | 手書き数式認識 / 構造解析 / 文脈処理 / 深層ニューラルネットワーク / アテンション |
|---|
| Outline of Research at the Start |
本研究では，手書き数式認識の文脈処理（幾何学的，言語的，及び，ある程度の意味的な文脈を内包）と構造認識を高めるために，ゲート付きの再帰ニューラルネットワークの２次元化，複数の部分構造にアテンションを払うend-to-endのDNN，数式全体を複数のマルコフ確率場で覆ってコスト最小化を求める方法の３つを試み，これらの最適な統合も目指す．ここで提案する方式は２次元の手書き数式認識に特化した方法でないことから，手書き数式認識を包含して，より包括的な構造解析的パターン認識の進展を阻んできたノイズを含む多次元構造あるいはグラフ構造の曖昧性解消に資することを目指す．
|
| Outline of Final Research Achievements |
This research aimed to recognize handwritten mathematical expressions, where ambiguities occurs in symbol segmentation, symbol identification, and positional relationship identification. Context processing is difficult unlike natural languages due to the lack of redundancy. This research clarified that it is superior to learn geometric context implicitly by Deep Neural Networks and evaluate language context explicitly by a language model. Specifically, an encoder/decoder model that pays attention to multiple substructures, semi-supervised learning that compensates for the lack of labeled learning patterns, and weighting the evaluation function with language context improved recognition performance. Furthermore, a method was proposed to artificially generate learning patterns, which were availed for an international recognition contest.
|
| Academic Significance and Societal Importance of the Research Achievements |
手書き数式認識は，構造解析的パターン認識の典型的問題であり，本研究成果は，その進展を阻んできたノイズを含む多次元構造解析の曖昧性解消に資する．また，本研究により，手書きによる数式解答の答合せや，数式解答の自動採点・採点支援の土台ができた．自動採点は，受験者が自分の答案に対する採点を確認し，誤採点があれば照会できる仕組みを前提に，機械が手書き認識と採点を行って受験者に返す．採点結果を即時に受験者に返して復習を促すことができ，採点の労力を軽減できる．採点支援には，解答を事前に機械採点やクラスタリングし，また，採点の注意点を明確にすることで，採点者による誤った採点やばらつきを防止できる．
|
