• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

Temporal knowledge supervision for pre-training tranfer learning models

公募研究

研究領域時間生成学―時を生み出すこころの仕組み
研究課題/領域番号 21H00308
研究種目

新学術領域研究(研究領域提案型)

配分区分補助金
審査区分 複合領域
研究機関京都大学

研究代表者

程 飛  京都大学, 情報学研究科, 特定助教 (70801570)

研究期間 (年度) 2021-04-01 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
5,200千円 (直接経費: 4,000千円、間接経費: 1,200千円)
2022年度: 2,600千円 (直接経費: 2,000千円、間接経費: 600千円)
2021年度: 2,600千円 (直接経費: 2,000千円、間接経費: 600千円)
キーワードTemporal Reasoning / Commonsense Reasoning / Large Language Model / Weak Supervision / temporal knowledge / deep neural networks / transfer learning / temporal reasoning / knowledge pre-training / contrastive learning / Temporal Knowledge / Natural Language / Neural Networks / Deep Learning
研究開始時の研究の概要

We design a series of empirical experiments to investigate the feasibility of exploiting temporal knowledge as supervision during pretraining. We plan to develop sufficent computing environments to accelarate training progress. We believe the temporal-aware representations will play an important role towards better understanding of time. Several extended topics can be explored, such as how human brain recognizes duration, frequency scales in languages.

研究実績の概要

Large language models (LLMs) often lack the ability to reason numerical and temporal knowledge such as how long an event lasts, how frequent it is, etc. Enhancing off-the-shelf LLMs' reasoning capability with large-scale weak supervision becomes a crucial topic. We relieved the reliance on human annotation and propose a bimodal voting strategy to obtain high-quality semi temporal knowledge. We re-train off-the-shelf LLMs on semi-supervision and observe significant improvement in temporal commonsense reasoning. We also explore a novel approach for identifying semantic relations (including temporal relations) between two events by revealing the labels of the most similar training examples. We have several papers accepted by the top AI conferences (EMNLP, EACL) and domestic conferences.

現在までの達成度 (段落)

令和4年度が最終年度であるため、記入しない。

今後の研究の推進方策

令和4年度が最終年度であるため、記入しない。

報告書

(2件)
  • 2022 実績報告書
  • 2021 実績報告書
  • 研究成果

    (13件)

すべて 2023 2022 その他

すべて 国際共同研究 (1件) 学会発表 (12件) (うち国際学会 5件)

  • [国際共同研究] Zhejiang University(中国)

    • 関連する報告書
      2022 実績報告書
  • [学会発表] Relation Extraction with Weighted Contrastive Pre-training on Distant Supervision2023

    • 著者名/発表者名
      Zhen Wan, Fei Cheng, Qianying Liu, Zhuoyuan Mao, Haiyue Song, Sadao Kurohashi
    • 学会等名
      Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2023). Findings Volume
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] 大規模言語モデルに基づく複数の外部ツールを利用した推論フレームワーク2023

    • 著者名/発表者名
      稲葉達郎, 清丸寛一, Fei Cheng, 黒橋禎夫
    • 学会等名
      言語処理学会第29回年次大会 (優秀賞, 11/579件)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 時間関係タスクを対象にしたマルチタスク学習におけるデータの親和性の解析2023

    • 著者名/発表者名
      木村麻友子, Lis Kanashiro Pereira, 浅原正幸, Fei Cheng, 越智綾子, 小林一郎
    • 学会等名
      言語処理学会第29回年次大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 日本語の時間的常識を理解する言語モデルの構築を目的としたマルチタスク学習における検証2023

    • 著者名/発表者名
      船曳日佳里, Lis Kanashiro Pereira, 木村麻友子 , 浅原正幸, Fei Cheng, 越智綾子, 小林一郎
    • 学会等名
      言語処理学会第29回年次大会
    • 関連する報告書
      2022 実績報告書
  • [学会発表] マルチタスク学習を用いた時間を認識する汎用言語モデルの構築2023

    • 著者名/発表者名
      船曳日佳里, Lis Kanashiro Pereira, 木村麻友子 , 浅原正幸, Fei Cheng, 越智綾子, 小林一郎
    • 学会等名
      2023年度人工知能学会全国大会(第37回)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] ComSearch: Equation Searching with Combinatorial Strategy for Solving Math Word Problems with Weak Supervision2023

    • 著者名/発表者名
      Qianying Liu, Wenyu Guan, Jianhao Shen, Fei Cheng, Sadao Kurohashi
    • 学会等名
      Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics (EACL 2023)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Improving Event Duration Question Answering by Leveraging Existing Temporal Information Extraction Data2022

    • 著者名/発表者名
      Felix Giovanni Virgo, Fei Cheng, Sadao Kurohashi
    • 学会等名
      Proceedings of the 13th International Conference on Language Resources and Evaluation (LREC 2022)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] Rescue Implicit and Long-tail Cases: Nearest Neighbor Relation Extraction2022

    • 著者名/発表者名
      Zhen Wan, Qianying Liu, Zhuoyuan Mao, Fei Cheng, Sadao Kurohashi, Jiwei Li
    • 学会等名
      Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (EMNLP 2022)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] 時間的常識理解へ向けた言語モデル構築への取り組み2022

    • 著者名/発表者名
      木村 麻友子, KANASHIRO Pereira Lis, 浅原 正幸, CHENG Fei, 越智 綾子, 小林 一郎
    • 学会等名
      2022年度人工知能学会全国大会(第36回)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Improving Event Duration Question Answering by Leveraging Existing Temporal Information Extraction Data2022

    • 著者名/発表者名
      Felix Giovanni Virgo, Fei Cheng, Sadao Kurohashi
    • 学会等名
      Proceedings of the 13th International Conference on Language Resources and Evaluation (LREC 2022), Marseille, France, (2022.6).
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Attention is All you Need for Robust Temporal Reasoning2022

    • 著者名/発表者名
      Lis Kanashiro Pereira, Kevin Duh, Fei Cheng, Masayuki Asahara, Ichiro Kobayashi
    • 学会等名
      Proceedings of the 13th International Conference on Language Resources and Evaluation (LREC 2022), Marseille, France, (2022.6).
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Improving Medical Relation Extraction with Distantly Supervised Pre-training2022

    • 著者名/発表者名
      Zhen Wan, Fei Cheng, Zhuoyuan Mao, Qianying Liu, Haiyue Song, Sadao Kurohashi
    • 学会等名
      言語処理学会 第28回年次大会, 浜松, (2022.3.14).
    • 関連する報告書
      2021 実績報告書

URL: 

公開日: 2021-04-28   更新日: 2023-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi