• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2023 年度 実績報告書

Knowledge-Base-Grounded Language Models

研究課題

研究課題/領域番号 21K17814
研究機関国立研究開発法人理化学研究所

研究代表者

HEINZERLING BENJAMIN  国立研究開発法人理化学研究所, 革新知能統合研究センター, 副チームリーダー (50846491)

研究期間 (年度) 2021-04-01 – 2024-03-31
キーワードlanguage model / knowledge base / world knowledge / numeric properties / knowledge representation / interpretability
研究実績の概要

In 2023, we developed an interpretation method for analyzing how well LMs represent a specific kind of structured knowledge, namely an numeric properties such as a person's year of birth or a city's population.
This method allows directly analyzing and manipulating the internal state of LMs in order to control its behavior when generating output involving numeric properties.
In the broader context of interpretability, transparency, and explainability of LMs, this method contributes to a improved understanding of how LMs encode structured knowledge.

  • 研究成果

    (5件)

すべて 2024 2023

すべて 雑誌論文 (5件) (うち国際共著 4件、 査読あり 4件、 オープンアクセス 5件)

  • [雑誌論文] Monotonic Representation of Numeric Properties in Language Models2024

    • 著者名/発表者名
      Heinzerling Benjamin, Inui Kentaro
    • 雑誌名

      preprint

      巻: - ページ: -

    • DOI

      10.48550/arXiv.2403.10381

    • オープンアクセス
  • [雑誌論文] Examining the effect of whitening on static and contextualized word embeddings2023

    • 著者名/発表者名
      Sasaki Shota、Heinzerling Benjamin、Suzuki Jun、Inui Kentaro
    • 雑誌名

      Information Processing & Management

      巻: 60 ページ: 103272~103272

    • DOI

      10.1016/j.ipm.2023.103272

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Prompting for explanations improves Adversarial NLI. Is this true? {Yes} it is {true} because {it weakens superficial cues}2023

    • 著者名/発表者名
      Kavumba Pride、Brassard Ana、Heinzerling Benjamin、Inui Kentaro
    • 雑誌名

      : Findings of the Association for Computational Linguistics: EACL 2023

      巻: 1 ページ: 2165-2180

    • DOI

      10.18653/v1/2023.findings-eacl.162

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Can LMs Store and Retrieve 1-to-N Relational Knowledge?2023

    • 著者名/発表者名
      Nagasawa Haruki、Heinzerling Benjamin、Kokuta Kazuma、Inui Kentaro
    • 雑誌名

      Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (Volume 4: Student Research Workshop)

      巻: 4 ページ: 130-138

    • DOI

      10.18653/v1/2023.acl-srw.22

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Test-time Augmentation for Factual Probing2023

    • 著者名/発表者名
      Kamoda Go、Heinzerling Benjamin、Sakaguchi Keisuke、Inui Kentaro
    • 雑誌名

      Findings of the Association for Computational Linguistics: EMNLP 2023

      巻: 1 ページ: 3650-3661

    • DOI

      10.18653/v1/2023.findings-emnlp.236

    • 査読あり / オープンアクセス / 国際共著

URL: 

公開日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi