• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2023 年度 実施状況報告書

談話的言語理解を評価する文章読解データセットの構築

研究課題

研究課題/領域番号 22K17954
研究機関国立情報学研究所

研究代表者

菅原 朔  国立情報学研究所, コンテンツ科学研究系, 助教 (10855894)

研究期間 (年度) 2022-04-01 – 2025-03-31
キーワード自然言語理解 / 自然言語処理 / 計算言語学
研究実績の概要

2021年度後半から2022年度にかけて大規模なパラメータ数からなるアーキテクチャを大規模なコーパスの上で訓練することで構築した大規模言語モデルと呼ばれるシステムを基礎にした研究が急増している。そのなかで、本研究はとくに文の相互関係の理解に注目し、説明性の高い談話的文章理解を問う評価用データセットの構築を目指している。高度化したシステムの振る舞いを評価するにあたって単文にとどまらない複数の文の理解を総合的に問うアプローチは重要性が高く、集中的に取り組まれる必要がある。大規模言語モデルの発展と軌を一にして、言語理解の評価用のデータセットも多様化・大規模化する傾向があり、現状のデータセットで何が取り組まれており、現状のシステムに何ができるのか、広範で正確な調査が必要とされている。
2023年度においてはこうした進展を踏まえた文献調査を進めながら、大きく分けて(1)既存の評価手法・データセットの分析と(2)文節間・文間の関係の理解を含めた新規データセットの作成を行った。
(1)においては、心理測定学における妥当性の構成概念を援用し、既存のデータセット設計が満たすべき要件についてチェックリストを整備した。(2)においては、既存の選択式の機械読解データセットに対して、その各選択肢が正答または誤答である理由についての問題を同じく選択式の機械読解データセットとして作成することで、根拠理解という側面から自然言語理解モデルの一貫的な評価に取り組んだ。

現在までの達成度 (区分)
現在までの達成度 (区分)

3: やや遅れている

理由

直近1,2年で大規模言語モデルが著しい発展を見せており、これをもとにした評価方法の概観・分析やデータセットの構築を行った。一方で、談話理解の評価についてはこうして構築したデータセットの副次的な項目に留まっており、それ自体を中心的に評価するデータセットの構築には至っていない。一方で、そのようなデータセットの必要性・昨今のシステムの評価における重要性においても広範で正確な調査とともに検討を深める必要がある。

今後の研究の推進方策

次年度も同様にシステム分析・データセット構築を中心に進める。現状ひろく使われているシステムの再現や現状の能力の把握・有力なデータセットにおける評価項目・振る舞いの調査を網羅的に行うことも重要である。本研究が目的としている評価用データセットの構築をより有意義なものとするため、とくに文関係の把握に注目し、重要な言語現象が評価対象になっているのか、システムはどのような性能を示しているのかについて理解を深めることを最優先目標とする。また同時に、そのような文関係理解などの高度な能力がシステムにどのように獲得されるかという発生的な観点も含めて評価を行えることが望ましいと考えている。

次年度使用額が生じた理由

次年度に主要なターゲットとなるデータセット構築を目的するため、一部を次年度使用とした。

  • 研究成果

    (4件)

すべて 2023

すべて 雑誌論文 (4件) (うち査読あり 4件、 オープンアクセス 4件)

  • [雑誌論文] Analyzing the Effectiveness of the Underlying Reasoning Tasks in Multi-hop Question Answering2023

    • 著者名/発表者名
      Ho Xanh、Duong Nguyen Anh-Khoa、Sugawara Saku、Aizawa Akiko
    • 雑誌名

      Findings of the Association for Computational Linguistics: EACL 2023

      巻: 1 ページ: 1163-1180

    • DOI

      10.18653/v1/2023.findings-eacl.87

    • 査読あり / オープンアクセス
  • [雑誌論文] On Degrees of Freedom in Defining and Testing Natural Language Understanding2023

    • 著者名/発表者名
      Sugawara Saku、Tsugita Shun
    • 雑誌名

      Findings of the Association for Computational Linguistics: ACL 2023

      巻: 1 ページ: 13625-13649

    • DOI

      10.18653/v1/2023.findings-acl.861

    • 査読あり / オープンアクセス
  • [雑誌論文] PROPRES: Investigating the Projectivity of Presupposition with Various Triggers and Environments2023

    • 著者名/発表者名
      Asami Daiki、Sugawara Saku
    • 雑誌名

      Proceedings of the 27th Conference on Computational Natural Language Learning (CoNLL)

      巻: 1 ページ: 122-137

    • DOI

      10.18653/v1/2023.conll-1.9

    • 査読あり / オープンアクセス
  • [雑誌論文] Evaluating the Rationale Understanding of Critical Reasoning in Logical Reading Comprehension2023

    • 著者名/発表者名
      Kawabata Akira、Sugawara Saku
    • 雑誌名

      Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing

      巻: 1 ページ: 116-143

    • DOI

      10.18653/v1/2023.emnlp-main.9

    • 査読あり / オープンアクセス

URL: 

公開日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi