• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2023 年度 実績報告書

深い論述理解の計算モデリングと論述学習支援への応用

研究課題

研究課題/領域番号 22H00524
研究機関東北大学

研究代表者

乾 健太郎  東北大学, 言語AI研究センター, 教授 (60272689)

研究分担者 井之上 直也  北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (80778605)
中川 智皓  大阪公立大学, 大学院工学研究科, 准教授 (70582336)
HEINZERLING BENJAMIN  国立研究開発法人理化学研究所, 革新知能統合研究センター, 副チームリーダー (50846491)
研究期間 (年度) 2022-04-01 – 2027-03-31
キーワード自然言語処理学 / 論述診断 / 論理構造解析 / 論述学習支援
研究実績の概要

課題①「微細領域論述知識ベースの動的構築」および課題②「ニューラル仮説推論による論理構造解析」に取り組んだ。
課題①については、前年度に設計・構築した特定の微細領域に関する論理構造注釈付き反論コーパスを教育的フィードバック生成への有用性の観点からさらに再整理し、注釈の仕様から過度に複雑な部分を削除した新たな仕様を作成した。また、クラウドソーシングによる注釈付けのためのツール群も整備し、クラウドソーシングによって反論に対する論理構造の注釈付けが可能であることを示した。
また、反論に加えて、hasty generalizationなど論述に潜む誤謬についても本研究のアプローチで分析し、上記の論理構造を拡張によって自然にその論理的誤謬の構造を捉えることができることを明らかにした。この分析に基づき、誤謬の論理構造の注釈の設計、データセットの構築を行った。
課題②については、課題①で構築した反論コーパスを用いて、反論の論理構造の解析という新しい課題に着手し、初手として大規模言語モデル(LLM)を用いたベースラインの調査を行った。これまでの実験結果からは、現在入手可能なLLMは訓練された人間に比べ著しくパフォーマンスが低いことがわかった。このことから、我々が設計した論理構造タスクは、教育的フィードバック生成に有用であり、人間には解くことができる課題でありながら、現在のLLMの技術では解決が難しことがわかり、学術的に価値のある課題であることが示された。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

課題①の目標はすでに達成できており、課題②についても予備調査が終了し、技術的な核心部分に着手するところまで到達できている。また、当初計画では想定していなかった論述の誤謬についても、本研究のアプローチが有効である可能性が明らかになり、この部分ついては想定以上の進展があった。

今後の研究の推進方策

反論、誤謬の2つの副領域について並行で当初計画を推進する予定である。

  • 研究成果

    (10件)

すべて 2024 2023

すべて 雑誌論文 (9件) (うち査読あり 6件、 オープンアクセス 9件) 学会発表 (1件) (うち国際学会 1件)

  • [雑誌論文] 反論の論理パターン解析: データセット構築と実現性検証2024

    • 著者名/発表者名
      内藤昭一, 王文質, Paul Reisert, 井之上直也, Camelia Guerraoui, 山口健史 , Jungmin Choi, Irfan Robbani, 乾健太郎
    • 雑誌名

      言語処理学会 第30回年次大会 発表論文集( 2024年3月 )

      巻: - ページ: -

    • オープンアクセス
  • [雑誌論文] Teach Me How to Argue: A Survey on NLP Feedback Systems in Argumentation2023

    • 著者名/発表者名
      Guerraoui Camelia, Reisert Paul, Inoue Naoya, Mim Farjana Sultana, Singh Keshav, Choi Jungmin, Robbani Irfan, Naito Shoichi, Wang Wenzhi, Inui Kentaro
    • 雑誌名

      In Proceedings of the 10th Workshop on Argument Mining

      巻: - ページ: 19-34

    • DOI

      10.18653/v1/2023.argmining-1.3

    • 査読あり / オープンアクセス
  • [雑誌論文] Take No Shortcuts! Stick to the Rubric: A Method for Building Trustworthy Short Answer Scoring Models2023

    • 著者名/発表者名
      Yuya Asazuma, Hiroaki Funayama, Yuichiroh Matsubayashi, Tomoya Mizumoto, Paul Reisert, Kentaro Inui
    • 雑誌名

      Proceedings of the 10th Workshop on Argument Mining

      巻: - ページ: -

    • 査読あり / オープンアクセス
  • [雑誌論文] Reducing the? Cost: Cross-Prompt Pre-finetuning for? Short Answer Scoring2023

    • 著者名/発表者名
      Funayama Hiroaki, Asazuma Yuya, Matsubayashi Yuichiroh, Mizumoto Tomoya, Inui Kentaro
    • 雑誌名

      International conference on artificial intelligence in education

      巻: - ページ: 78~89

    • DOI

      10.1007/978-3-031-36272-9_7

    • 査読あり / オープンアクセス
  • [雑誌論文] Do Deep Neural Networks Capture Compositionality in Arithmetic Reasoning?2023

    • 著者名/発表者名
      Kudo Keito, Aoki Yoichi, Kuribayashi Tatsuki, Brassard Ana, Yoshikawa Masashi, Sakaguchi Keisuke, Inui Kentaro
    • 雑誌名

      In Proceedings of the 17th Conference of the European Chapter of the Association for Computational Linguistics ( EACL2023 )

      巻: - ページ: 1343-1354

    • DOI

      10.18653/v1/2023.eacl-main.98

    • 査読あり / オープンアクセス
  • [雑誌論文] Empirical Investigation of Neural Symbolic Reasoning Strategies2023

    • 著者名/発表者名
      Yoichi Aoki, Keito Kudo, Tatsuki Kuribayashi, Ana Brassard, Masashi Yoshikawa, Keisuke Sakaguchi, Kentaro Inui
    • 雑誌名

      In Findings of the 17th Conference of the European Chapter of the Association for Computational Linguistics (EACL2023 Findings)

      巻: - ページ: 1124-1132

    • DOI

      10.48550/arXiv.2302.08148

    • 査読あり / オープンアクセス
  • [雑誌論文] Frontiers in Explainable Automated Writing Evaluation2023

    • 著者名/発表者名
      Inui Kentaro, Ishii Yutaka, Matsubayashi Yuichiroh, Inoue Naoya, Naito Shoichi, Isobe Yoriko, Funayama Hiroaki, Kikuchi Seiya
    • 雑誌名

      IEICE ESS Fundamentals Review

      巻: 16 ページ: 289~300

    • DOI

      10.1587/essfr.16.4_289

    • 査読あり / オープンアクセス
  • [雑誌論文] Towards Creating Analytic Dimensions for Evaluating the Quality of Debate Counter-Arguments.2023

    • 著者名/発表者名
      王文質, Paul Reisert, 井之上直也, 内藤昭一, Camelia Guerraoui, Keshav Singh, 乾健太郎
    • 雑誌名

      言語処理学会 第29回年次大会 発表論文集 ( 2023年3月 )

      巻: - ページ: 1-4

    • オープンアクセス
  • [雑誌論文] 大規模言語モデルが生成した反論文の品質評価2023

    • 著者名/発表者名
      尾崎大晟, 中川智皓, 内藤昭一, 井之上直也, 山口健史
    • 雑誌名

      人工知能学会全国大会 (第37回) 論文集

      巻: - ページ: 1-4

    • オープンアクセス
  • [学会発表] Geometric Locality of Entity Embeddings in Masked Language Models.2023

    • 著者名/発表者名
      Masaki Sakata, Sho Yokoi, Benjamin Heinzerling, Kentaro Inui
    • 学会等名
      Non-archival submission for the ACL Student Research Workshop
    • 国際学会

URL: 

公開日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi