• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2022 年度 実施状況報告書

分野依存語義, 及び語義間の関連性に基づくマルチラベルショートテキストの分類

研究課題

研究課題/領域番号 21K12026
研究機関山梨大学

研究代表者

福本 文代  山梨大学, 大学院総合研究部, 教授 (60262648)

研究期間 (年度) 2021-04-01 – 2024-03-31
キーワード分野語義 / マルチラベルショートテキスト / 階層構造 / 文書分類
研究実績の概要

本研究の目的は, マルチラベルショートテキストを階層構造へ高精度で分類する手法を開発することである. 本研究の特色は, (1) 分野依存語義 (例えば”court” がスポーツ分野の記事に出現する場合, テニスコートの意味, 法律の分野では裁判所の意味でよく用いられるなど), (2) 分野同士の関係,及び (3) テキスト中の語義と分野語義との関連を学習した結果 (以降, (2) と (3) を意味表現学習と呼ぶ) をテキスト分類に利用する点に集約できる.

今年度の計画は,1. 分野間の意味表現学習と 2. ショートテキスト中の語彙,分野名,及びそれらの関係性についても表現学習を提案することである.1. 及び2. についてBERTモデルをコピーし,分野間とテキスト中の単語間をそれぞれ単独で学習する.さらに,BERTの一方から得られる分野と他方から得られるテキスト中の単語に対し、分野と単語間の関係を学習することにより,文書分類を行う手法を提案した.

実験ではベンチマークデータセットであるロイター,New York Times,及びWeb of Scienceを用いて実験を行った.実験の結果,提案手法は,全てのデータにおいて関連研究であるHyMatch,及びHGCLRよりもMicro, Macro-F1の精度が上回る結果,具体的には,RCV1では,2位であるHiMatchtと比較しMacroで3.39%, 同様にNYTでは,2位であるHCCLRと比較しMacro, Micro各々0.56%, 0.18%精度が向上することを確認した.一方,最先端手法であるHPT(Hierarchy-aware Prompt Tuning for Hierarchical Text Classification)と比較するとわずかに精度が下回る結果となった.今後は分野の階層構造を取り入れる手法を検討し、さらなる精度向上を目指す.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

今年度は1. 分野間の意味表現学習と 2. ショートテキスト中の語彙,分野名,及びそれらの関係性についても表現学習により文書分類を行う手法を提案する計画であり,精度が関連研究で報告されている最高精度には僅かに及ばなかったものの,おおむね計画通りに進展できている.

今後改良すべき点について,分野間,単語間,及び分野と単語の関連性に加え,分野の階層構造をモデルに組み込むことが明らかになっているため,さらなる精度の向上を目指し,引き続き改良を行う.

今後の研究の推進方策

最終年度である令和5年度は,さらなる精度向上を目指し,階層構造の表現方法について提案する.具体的には,分野間の関係を学習するBERTモデルに対し,分野の階層構造を組み入れる方法を提案する.さらに,階層構造の下位では,分野同士の粒度が細かく各分野の特徴を学習することが困難であることから,新たに大量のラベルなしデータと少量のラベルデータを利用したsemi-supervised contrastive learning を適用することにより,階層構造の下位分野についても高精度な分類が行えるよう改良する.

評価実験については階層構造を持つ3種類のデータであるRCV1 (Reuter's Corpus), NYT (New York Times), 及びWeb of Science (WOS)による定量的な評価,及び階層構造を利用した最先端手法であるHPTとの比較を実施する.また,Ablation study により,精度に最も貢献する要素についても明らかにする.

次年度使用額が生じた理由

当初,国際学会での発表を2件予定していたが,投稿済の論文が不採択であったため,次年度使用額が生じた.不採択となった2件の論文については,令和5年度に,再度改良し投稿し直す.謝金については,代表者により作業を終えることができたため,謝金の予算を令和5年度計画において実施する研究の成果に関する投稿費用として使用する.

  • 研究成果

    (5件)

すべて 2023 2022

すべて 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (4件) (うち国際学会 2件)

  • [雑誌論文] STaTRL: Spatial-Temporal and Text Representation Learning for POI Recommendation2022

    • 著者名/発表者名
      XinFeng Wang, Fumiyo Fukumoto, Jiyi Li, Dongjin Yu, and Xiaoxiao Sun
    • 雑誌名

      APPLIED INTELLIGENCE

      巻: - ページ: -

    • DOI

      10.1007/s10489-022-03858-w

    • 査読あり
  • [学会発表] Disentangling Meaning and Style for Positive Text Reframing2023

    • 著者名/発表者名
      Xu Sheng, Yoshimi Suzuki, Jiyi Li, Kentaro Go, and Fumiyo Fukumoto
    • 学会等名
      言語処理学会第29回年次大会
  • [学会発表] Improving Peer-Review Score Prediction with Semi-Supervised Learning and Denoising Networks2023

    • 著者名/発表者名
      Panitan Muangkammuen, Fumiyo Fukumoto, Jiyi Li, and Yoshimi Suzuki
    • 学会等名
      言語処理学会大29回年次大会
  • [学会発表] A Multi-task based Bilateral-Branch Network for Imbalanced Citation Intent Classification2022

    • 著者名/発表者名
      Tianxiang Hu, Jiyi Li, Fumiyo Fukumoto, Renjie Zhou
    • 学会等名
      IMCOM
    • 国際学会
  • [学会発表] Exploiting Labeled and Unlabeled Data via Transformer Fine-tuning for Peer-Review Score Prediction2022

    • 著者名/発表者名
      Panitan Muangkammuen, Fumiyo Fukumoto, Jiyi Li, and Yoshimi Suzuki
    • 学会等名
      Findings of the 2022 Conference on Empirical Methods in Natural Language Processing
    • 国際学会

URL: 

公開日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi