2022 Fiscal Year Annual Research Report
Deep metric learning through local attention and generative loss
| Project/Area Number |
21K17761
|
|---|
| Research Institution | Tokyo University of Agriculture and Technology |
|---|
Principal Investigator |
NGUYENTUAN CUONG 東京農工大学, 工学(系)研究科(研究院), 特任助教 (10814246)
|
|---|
| Project Period (FY) |
2021-04-01 – 2023-03-31
|
| Keywords | Similarity / Transformer / Graph Neural Networks / Minimum Spanning Tree |
|---|
| Outline of Annual Research Achievements |
今年はオンライン手書き数式の類似度とGraph手法で手書き数式認識の研究をした。オンライン手書き数式の類似度では、数式パターンとLatexの列の類似度を推定する手法をである。手書き数式答案の採点や手書き数式検索などの応用がある。この類似度を計算するため、シンボル・位置関係の列の経由で、オンライン手書き数式をRecurrent Neural Networksに入力し、シンボル・位置関係列を出力し、また、LatexからTransformerSeq2Seqを入力し、シンボル・位置関係を出力する。その二つのシンボル・位置関係列をTemporal Classification Lossで、類似度を推定ができた。Graph手法で手書き数式認識では、オンライン手書き数式からRecurrent Neural Networksを入力し、シンボル・位置関係列を出力し、シンボル全体の位置関係を計算することができる。このGraphを数式の標準（Symbol Label Graph）を生成するため、Minimum Spanning Treeアルゴリズムを研究した。Graph手法は手書き数式認識だけではなく、数式の構造まで認識を行い、また、手書き数式の書き順を依存なしで認識ができた。
|
