Deep metric learning through local attention and generative loss
| Project/Area Number |
21K17761
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Tokyo University of Agriculture and Technology |
|---|
Principal Investigator |
NGUYENTUAN CUONG 東京農工大学, 工学(系)研究科(研究院), 特任助教 (10814246)
|
|---|
| Project Period (FY) |
2021-04-01 – 2023-03-31
|
| Project Status |
Discontinued (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2021: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
|
|---|
| Keywords | Similarity / Transformer / Graph Neural Networks / Minimum Spanning Tree / 距離学習 / Seq2Seq / 手書き数式 / クラスタリング / deep metric learning / clustering / mathematical expression / handwriting |
|---|
| Outline of Research at the Start |
Learning structural representation of data samples through their sub-structures and the relations between these sub-structures is efficient since the sub-structures and relations are shared among the data samples. As supervised learning models requires annotations of these sub-structures and relations, which is costly and unfeasible for some type of data, automatic learning of these sub-structures and relations are necessary. We propose a deep metric learning method based on attention generative model for automatically focus on learning the discriminative local features as the sub-structures.
|
| Outline of Annual Research Achievements |
今年はオンライン手書き数式の類似度とGraph手法で手書き数式認識の研究をした。オンライン手書き数式の類似度では、数式パターンとLatexの列の類似度を推定する手法をである。手書き数式答案の採点や手書き数式検索などの応用がある。この類似度を計算するため、シンボル・位置関係の列の経由で、オンライン手書き数式をRecurrent Neural Networksに入力し、シンボル・位置関係列を出力し、また、LatexからTransformerSeq2Seqを入力し、シンボル・位置関係を出力する。その二つのシンボル・位置関係列をTemporal Classification Lossで、類似度を推定ができた。Graph手法で手書き数式認識では、オンライン手書き数式からRecurrent Neural Networksを入力し、シンボル・位置関係列を出力し、シンボル全体の位置関係を計算することができる。このGraphを数式の標準（Symbol Label Graph）を生成するため、Minimum Spanning Treeアルゴリズムを研究した。Graph手法は手書き数式認識だけではなく、数式の構造まで認識を行い、また、手書き数式の書き順を依存なしで認識ができた。
|
Report
(2 results)
Research Products
(10 results)
