• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Multi-label short text classification based on domain specific-senses and its relation

Research Project

Project/Area Number 21K12026
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61030:Intelligent informatics-related
Research InstitutionUniversity of Yamanashi

Principal Investigator

福本 文代  山梨大学, 大学院総合研究部, 教授 (60262648)

Project Period (FY) 2021-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Keywords分野依存語義 / マルチラベルショートテキスト / 分野語義 / 階層構造 / 文書分類 / 語義の曖昧性解消
Outline of Research at the Start

本研究は、複数の分野が付与された短い単語列からなるテキスト、すなわちマルチラベルショートテキストを対象とし、これらを階層構造へ分類するために有効な語彙的意味処理技術と機械学習法を開発することを目的とする。

Outline of Annual Research Achievements

本研究は,複数の分野が付与された短い単語列からなるテキスト,すなわちマルチラベルショートテキストを対象とし,これらを階層構造へ分類するために有効な語彙的意味処理技術と機械学習法を開発することを目的とする.ショートテキストを対象としたこれまでの分類手法では、テキストに含まれる情報量が限定されているため、高精度な分類を実現することは困難であった。本研究では、このショートテキストの情報量をを補完するため,(1) 語義は分野に依存して決まるという仮説に基づき,分野依存語義,すなわち単語の意味表現を利用する手法を提案した,(2) テキストに付与されている複数の分野同士は意味的に類似していることに注目し,分野同士の関係をマルチラベル分類,すなわち複数の分野が付与されているテキスト分類に利用する方法を検討した,(3) テキスト中の特定の単語と分野とは関連性があることに着目し,この関連性を利用し特に分類が困難な階層構造の下位に位置する粒度の細かい分野への高精度な分類手法を提案した.(1) の分野依存語義について,当初,Transformer Personalized Propagation of Neural Predictions (PPNP) [Kliepera'19]を拡張し,語義を同定する手法を検討した.しかし,GCNにおける層の数を増やすことにより精度低下の軽減が望めなかったため,手法を再考し,あらたにWordNetの知識を語義解消の制約としてAttention Networkに取り入れる手法 Constrained Attention Network と呼ばれる手法を提案した.(2) ,及び(3) について,テキスト中の特定の単語と分野を示す単語間に関連性があることに着目し,Attentionメカニズムを用い,テキスト中の単語と分野の相関関係を学習するネットワークモデルを提案した.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

(1) 分野依存語義について,WordNetシソーラスの知識を語義解消の制約として取り入れる手法であるConstrained Attention Network と呼ばれる手法を提案し論文として公開することができた.(2) 分野同士の関係,及び (3) テキスト中の特定の単語と分野との関連性抽出について,Attentionメカニズムを用い,テキスト中の単語と分野の相関関係を学習するネットワークモデルを提案し定量的な実験を実施することができたため,おおむね順調に進展していると考える.

Strategy for Future Research Activity

(1) 分野依存語義抽出手法については,すでに論文として成果を公開できている.一方で(2)分野同士の関係,及び (3) テキスト中の特定の単語と分野との関連性抽出については,研究成果を投稿したものの採択されなかったため,今後は,定量的な実験とその解析を実施した後に再投稿することを検討している.

Report

(3 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Research-status Report
  • Research Products

    (10 results)

All 2023 2022 2021

All Journal Article (5 results) (of which Peer Reviewed: 5 results,  Open Access: 4 results) Presentation (5 results) (of which Int'l Joint Research: 2 results)

  • [Journal Article] Knowledge Injection with Perturbation-based Constrained Attention Network for Word Sense Disambiguation2023

    • Author(s)
      Fumiyo Fukumoto and Shou Asakawa
    • Journal Title

      Findings of the Association for Computational Linguistics: IJCNLP-AACL 2023

      Volume: Findings Pages: 171-177

    • DOI

      10.18653/v1/2023.findings-ijcnlp.15

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] STaTRL: Spatial-Temporal and Text Representation Learning for POI Recommendation2022

    • Author(s)
      XinFeng Wang, Fumiyo Fukumoto, Jiyi Li, Dongjin Yu, and Xiaoxiao Sun
    • Journal Title

      APPLIED INTELLIGENCE

      Volume: - Issue: 7 Pages: 8286-8301

    • DOI

      10.1007/s10489-022-03858-w

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Journal Article] Paraphrase Identification with Neural Elaboration Relation Learning2022

    • Author(s)
      Xu Sheng, Fumiyo Fukumoto, Jiyi Lim Yoshimi Suzuki
    • Journal Title

      Proc. of the 28th International Conference on Neural Information Processing

      Volume: 4 Pages: 562-573

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Predominant Sense Acquisition with a Neural Random Walk Model2021

    • Author(s)
      Attaporn Wangpoonsarp, Fumiyo Fukumoto
    • Journal Title

      Proc. of the 28th International Conference on Neural Information Processing

      Volume: 3 Pages: 284-295

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Neural Local and Global Contexts Learning for Word Sense Disambiguation2021

    • Author(s)
      Fumiyo Fukumoto, Taishin Mishima, Jiyi Li, Yoshimi Suzuki
    • Journal Title

      Proc. of the 28th International Conference on Neural Information Processing

      Volume: 4 Pages: 537-549

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] Disentangling Meaning and Style for Positive Text Reframing2023

    • Author(s)
      Xu Sheng, Yoshimi Suzuki, Jiyi Li, Kentaro Go, and Fumiyo Fukumoto
    • Organizer
      言語処理学会第29回年次大会
    • Related Report
      2022 Research-status Report
  • [Presentation] Improving Peer-Review Score Prediction with Semi-Supervised Learning and Denoising Networks2023

    • Author(s)
      Panitan Muangkammuen, Fumiyo Fukumoto, Jiyi Li, and Yoshimi Suzuki
    • Organizer
      言語処理学会大29回年次大会
    • Related Report
      2022 Research-status Report
  • [Presentation] A Multi-task based Bilateral-Branch Network for Imbalanced Citation Intent Classification2022

    • Author(s)
      Tianxiang Hu, Jiyi Li, Fumiyo Fukumoto, Renjie Zhou
    • Organizer
      IMCOM
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] Exploiting Labeled and Unlabeled Data via Transformer Fine-tuning for Peer-Review Score Prediction2022

    • Author(s)
      Panitan Muangkammuen, Fumiyo Fukumoto, Jiyi Li, and Yoshimi Suzuki
    • Organizer
      Findings of the 2022 Conference on Empirical Methods in Natural Language Processing
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] 局所および大域的特徴量に基づく語義の曖昧性解消2022

    • Author(s)
      浅川翔, 鈴木良弥, 李吉吃, 福本文代
    • Organizer
      言語処理学会第28回年次大会
    • Related Report
      2021 Research-status Report

URL: 

Published: 2021-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi