• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2021 年度 実施状況報告書

Deep metric learning through local attention and generative loss

研究課題

研究課題/領域番号 21K17761
研究機関東京農工大学

研究代表者

NGUYENTUAN CUONG  東京農工大学, 工学(系)研究科(研究院), 特任准教授 (10814246)

研究期間 (年度) 2021-04-01 – 2024-03-31
キーワード距離学習 / Seq2Seq / 手書き数式 / クラスタリング
研究実績の概要

本研究では,ロカール特徴とそれらの関係を持ち時系列特徴表現による,深層距離学習手法の基礎理論と手書き数式における応用を中心に挑んでいる.
初年度の研究において,研究基盤を構築することができた.まず,オンライン手書き数式の構造的アップローチとオンライン・オフライン手書き数式のencoder-decoderアップローチ両方を構築した.手書き数式パターンは,Wikipediaコーパスから大量のオンラインとオフライン数式パータンを生成することができた.
そして,研究の本体においてはEncoder-decoderのモデルで,Seq2Seq距離を利用し,クラスタリングをした.深層学習モデルの特徴やBag-of-Featureの特徴より高い精度ができた.
これらをQ1論文誌であるPRLに1件,国際会議であるICDARで2件,その関連ワークショップで2件,そして,ACPRで1件発表している.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

これまでに,研究基盤として次を実現している:(1)手書き数式パターンは,Wikipediaコーパスから大量のオンラインとオフライン数式パータンを生成することができた.(2)データ拡張する方法を構築した.
さらに研究の本体として次の成果を得ている:(1)オンライン手書き数式の構造的アップローチ.(2)オンライン・オフライン手書き数式のencoder-decoderアップローチを構築した.(3)CTC-BLSTMを利用したBidirectional Contextによる数式認識システムを作成した.(4)Seq2Seq距離のクラスタリングを実現した.

今後の研究の推進方策

本研究は,今後は次のことを計画している:(1)Seq2Seq距離で,大量のデータで半教師学習または教師なし学習方法を実現する.(2)Graph Neural Networksの認識モデルを構築し,クラスタリングを研究する.(3)構造的数式認識モデルでSeq2Seq距離表現し,クラスタリングを研究する.

  • 研究成果

    (8件)

すべて 2022 2021

すべて 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (7件) (うち国際学会 5件)

  • [雑誌論文] Syntactic data generation for handwritten mathematical expression recognition2022

    • 著者名/発表者名
      Truong Thanh-Nghia、Nguyen Cuong Tuan、Nakagawa Masaki
    • 雑誌名

      Pattern Recognition Letters

      巻: 153 ページ: 83~91

    • DOI

      10.1016/j.patrec.2021.12.002

    • 査読あり
  • [学会発表] Learning Symbol Relation Tree for Online Handwritten Mathematical Expression Recognition2021

    • 著者名/発表者名
      Truong Thanh-Nghia、Nguyen Hung Tuan、Nguyen Cuong Tuan、Nakagawa Masaki
    • 学会等名
      Asian Conference on Pattern Recognition, ACPR2021
    • 国際学会
  • [学会発表] Temporal Classification Constraint for Improving Handwritten Mathematical Expression Recognition2021

    • 著者名/発表者名
      Cuong Tuan Nguyen, Hung Tuan Nguyen, Kei Morizumi & Masaki Nakagawa
    • 学会等名
      International Conference on Document Analysis and Recognition, ICDAR 2021 Workshops
    • 国際学会
  • [学会発表] A Transformer-Based Math Language Model for Handwritten Math Expression Recognition2021

    • 著者名/発表者名
      Huy Quang Ung, Cuong Tuan Nguyen, Hung Tuan Nguyen, Thanh-Nghia Truong & Masaki Nakagawa
    • 学会等名
      International Conference on Document Analysis and Recognition, ICDAR 2021 Workshops
    • 国際学会
  • [学会発表] GSSF: A Generative Sequence Similarity Function Based on a Seq2Seq Model for Clustering Online Handwritten Mathematical Answers2021

    • 著者名/発表者名
      Huy Quang Ung, Cuong Tuan Nguyen, Hung Tuan Nguyen & Masaki Nakagawa
    • 学会等名
      International Conference on Document Analysis and Recognition, ICDAR 2021
    • 国際学会
  • [学会発表] Global Context for Improving Recognition of Online Handwritten Mathematical Expressions2021

    • 著者名/発表者名
      Cuong Tuan Nguyen, Thanh-Nghia Truong, Hung Tuan Nguyen & Masaki Nakagawa
    • 学会等名
      International Conference on Document Analysis and Recognition, ICDAR 2021
    • 国際学会
  • [学会発表] Context free grammar with tree structure analysis for online handwritten mathematical expression recognition2021

    • 著者名/発表者名
      Naruki Kitashima, Cuong Tuan Nguyen, Ikuko Shimizu, Masaki Nakagawa
    • 学会等名
      IEICE Technical Report
  • [学会発表] Visual Constraints for Generating Multi-domain Offline Handwritten Mathematical Expressions2021

    • 著者名/発表者名
      Huy Quang Ung, Hung Tuan Nguyen, Cuong Tuan Nguyen, Masaki Nakagawa
    • 学会等名
      IEICE Technical Report

URL: 

公開日: 2022-12-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi