• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

深い論述理解の計算モデリングと論述学習支援への応用

研究課題

研究課題/領域番号 22H00524
研究種目

基盤研究(A)

配分区分補助金
応募区分一般
審査区分 中区分61:人間情報学およびその関連分野
研究機関東北大学

研究代表者

乾 健太郎  東北大学, 言語AI研究センター, 教授 (60272689)

研究分担者 HEINZERLING BENJAMIN  国立研究開発法人理化学研究所, 革新知能統合研究センター, 副チームディレクター (50846491)
中川 智皓  大阪公立大学, 大学院工学研究科, 准教授 (70582336)
井之上 直也  北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (80778605)
吉川 将司  東北大学, タフ・サイバーフィジカルAI研究センター, 助教 (80883470)
研究期間 (年度) 2022-04-01 – 2027-03-31
研究課題ステータス 交付 (2025年度)
配分額 *注記
41,470千円 (直接経費: 31,900千円、間接経費: 9,570千円)
2025年度: 8,840千円 (直接経費: 6,800千円、間接経費: 2,040千円)
2024年度: 8,710千円 (直接経費: 6,700千円、間接経費: 2,010千円)
2023年度: 8,450千円 (直接経費: 6,500千円、間接経費: 1,950千円)
2022年度: 5,070千円 (直接経費: 3,900千円、間接経費: 1,170千円)
キーワード自然言語処理学 / 論述診断 / 論理構造解析 / 論述学習支援 / 自然言語処理
研究開始時の研究の概要

批判的思考力の育成方法として論述作文・ディベートなど「論述」の学校教育への導入が進んでいるが、学習効果を高めるには学習者の論述を適切に評価し助言する必要があり、教員の負担が課題となっている。これに対し本研究では、論述の評価と助言を自動化し、論述学習を支援する新しい「論述診断」技術の構築を目指す。微細領域設定のもとで知識と推論に基づく論述理解論述診断の計算モデルを構築し、これを論述学習支援に繋げる。パーラメンタリーディベート形式のディベート教育を対象として「論述学習支援システム」を構築し、実際の教育現場で実証実験を行う。

研究実績の概要

課題①「微細領域論述知識ベースの動的構築」および課題②「ニューラル仮説推論による論理構造解析」に取り組んだ。
課題①については、前年度に設計・構築した特定の微細領域に関する論理構造注釈付き反論コーパスを教育的フィードバック生成への有用性の観点からさらに再整理し、注釈の仕様から過度に複雑な部分を削除した新たな仕様を作成した。また、クラウドソーシングによる注釈付けのためのツール群も整備し、クラウドソーシングによって反論に対する論理構造の注釈付けが可能であることを示した。
また、反論に加えて、hasty generalizationなど論述に潜む誤謬についても本研究のアプローチで分析し、上記の論理構造を拡張によって自然にその論理的誤謬の構造を捉えることができることを明らかにした。この分析に基づき、誤謬の論理構造の注釈の設計、データセットの構築を行った。
課題②については、課題①で構築した反論コーパスを用いて、反論の論理構造の解析という新しい課題に着手し、初手として大規模言語モデル(LLM)を用いたベースラインの調査を行った。これまでの実験結果からは、現在入手可能なLLMは訓練された人間に比べ著しくパフォーマンスが低いことがわかった。このことから、我々が設計した論理構造タスクは、教育的フィードバック生成に有用であり、人間には解くことができる課題でありながら、現在のLLMの技術では解決が難しことがわかり、学術的に価値のある課題であることが示された。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

課題①の目標はすでに達成できており、課題②についても予備調査が終了し、技術的な核心部分に着手するところまで到達できている。また、当初計画では想定していなかった論述の誤謬についても、本研究のアプローチが有効である可能性が明らかになり、この部分ついては想定以上の進展があった。

今後の研究の推進方策

反論、誤謬の2つの副領域について並行で当初計画を推進する予定である。

報告書

(3件)
  • 2023 実績報告書
  • 2022 審査結果の所見   実績報告書
  • 研究成果

    (16件)

すべて 2024 2023 2022

すべて 雑誌論文 (15件) (うち査読あり 12件、 オープンアクセス 14件) 学会発表 (1件) (うち国際学会 1件)

  • [雑誌論文] 反論の論理パターン解析: データセット構築と実現性検証2024

    • 著者名/発表者名
      内藤昭一, 王文質, Paul Reisert, 井之上直也, Camelia Guerraoui, 山口健史 , Jungmin Choi, Irfan Robbani, 乾健太郎
    • 雑誌名

      言語処理学会 第30回年次大会 発表論文集( 2024年3月 )

      巻: -

    • 関連する報告書
      2023 実績報告書
    • オープンアクセス
  • [雑誌論文] 特徴量帰属法による説明の忠実性評価に関する実証的分析2023

    • 著者名/発表者名
      Asazuma Yuya, Hanawa Kazuaki, Inui Kentaro
    • 雑誌名

      人工知能学会論文誌

      巻: 38 号: 6 ページ: C-N22_1-9

    • DOI

      10.1527/tjsai.38-6_C-N22

    • ISSN
      1346-0714, 1346-8030
    • 年月日
      2023-11-01
    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 自然言語処理×教育における説明能力2023

    • 著者名/発表者名
      INUI Kentaro、ISHII Yutaka、MATSUBAYASHI Yuichiroh、INOUE Naoya、NAITO Shoichi、ISOBE Yoriko、FUNAYAMA Hiroaki、KIKUCHI Seiya
    • 雑誌名

      電子情報通信学会 基礎・境界ソサイエティ Fundamentals Review

      巻: 16 号: 4 ページ: 289-300

    • DOI

      10.1587/essfr.16.4_289

    • ISSN
      1882-0875
    • 年月日
      2023-04-01
    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Teach Me How to Argue: A Survey on NLP Feedback Systems in Argumentation2023

    • 著者名/発表者名
      Guerraoui Camelia, Reisert Paul, Inoue Naoya, Mim Farjana Sultana, Singh Keshav, Choi Jungmin, Robbani Irfan, Naito Shoichi, Wang Wenzhi, Inui Kentaro
    • 雑誌名

      In Proceedings of the 10th Workshop on Argument Mining

      巻: - ページ: 19-34

    • DOI

      10.18653/v1/2023.argmining-1.3

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Take No Shortcuts! Stick to the Rubric: A Method for Building Trustworthy Short Answer Scoring Models2023

    • 著者名/発表者名
      Yuya Asazuma, Hiroaki Funayama, Yuichiroh Matsubayashi, Tomoya Mizumoto, Paul Reisert, Kentaro Inui
    • 雑誌名

      Proceedings of the 10th Workshop on Argument Mining

      巻: -

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Reducing the? Cost: Cross-Prompt Pre-finetuning for? Short Answer Scoring2023

    • 著者名/発表者名
      Funayama Hiroaki, Asazuma Yuya, Matsubayashi Yuichiroh, Mizumoto Tomoya, Inui Kentaro
    • 雑誌名

      International conference on artificial intelligence in education

      巻: - ページ: 78-89

    • DOI

      10.1007/978-3-031-36272-9_7

    • ISBN
      9783031362712, 9783031362729
    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Do Deep Neural Networks Capture Compositionality in Arithmetic Reasoning?2023

    • 著者名/発表者名
      Keito Kudo, Yoichi Aoki, Tatsuki Kuribayashi, Ana Brassard, Masashi Yoshikawa, Keisuke Sakaguchi, Kentaro Inui
    • 雑誌名

      Proceedings of the 2023 Conference of the European Chapter of the Association for Computational Linguistics

      巻: 0 ページ: 1343-1354

    • DOI

      10.18653/v1/2023.eacl-main.98

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Empirical Investigation of Neural Symbolic Reasoning Strategies2023

    • 著者名/発表者名
      Yoichi Aoki, Keito Kudo, Tatsuki Kuribayashi, Ana Brassard, Masashi Yoshikawa, Keisuke Sakaguchi, Kentaro Inui
    • 雑誌名

      In Findings of the 17th Conference of the European Chapter of the Association for Computational Linguistics (EACL2023 Findings)

      巻: - ページ: 1124-1132

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Towards Creating Analytic Dimensions for Evaluating the Quality of Debate Counter-Arguments.2023

    • 著者名/発表者名
      王文質, Paul Reisert, 井之上直也, 内藤昭一, Camelia Guerraoui, Keshav Singh, 乾健太郎
    • 雑誌名

      言語処理学会 第29回年次大会 発表論文集 ( 2023年3月 )

      巻: - ページ: 1-4

    • 関連する報告書
      2023 実績報告書
    • オープンアクセス
  • [雑誌論文] 大規模言語モデルが生成した反論文の品質評価2023

    • 著者名/発表者名
      尾崎大晟, 中川智皓, 内藤昭一, 井之上直也, 山口健史
    • 雑誌名

      人工知能学会全国大会 (第37回) 論文集

      巻: - ページ: 1-4

    • 関連する報告書
      2023 実績報告書
    • オープンアクセス
  • [雑誌論文] LPAttack: A Feasible Annotation Scheme for Capturing Logic Pattern of Attacks in Arguments.2022

    • 著者名/発表者名
      Farjana Sultana Mim, Naoya Inoue, Shoichi Naito, Keshav Singh, Kentaro Inui
    • 雑誌名

      In Proceedings of the 13th International Conference on the Language Resources and Evaluation Conference ( LREC 2022 )

      巻: - ページ: 2446-2459

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] IRAC: A Domain-specific Annotated Corpus of Implicit Reasoning in Arguments.2022

    • 著者名/発表者名
      Keshav Singh, Naoya Inoue, Farjana Sultana Mim, Shoichi Naito, Kentaro Inui.
    • 雑誌名

      In Proceedings of the 13th International Conference on the Language Resources and Evaluation Conference ( LREC 2022)

      巻: - ページ: 4674-4683

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] TYPIC: A Corpus of Template-Based Diagnostic Comments on Argumentation.2022

    • 著者名/発表者名
      Shoichi Naito, Shintaro Sawada, Chihiro Nakagawa, Naoya Inoue, Kenshi Yamaguchi, Iori Shimizu, Farjana Sultana Mim, Keshav Singh, Kentaro Inui
    • 雑誌名

      The 13th International Conference on the Language Resources and Evaluation Conference ( LREC 2022 )

      巻: - ページ: 5916-5928

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Balancing Cost and?Quality: An Exploration of?Human-in-the-Loop Frameworks for?Automated Short Answer Scoring2022

    • 著者名/発表者名
      Funayama Hiroaki、Sato Tasuku、Matsubayashi Yuichiroh、Mizumoto Tomoya、Suzuki Jun、Inui Kentaro
    • 雑誌名

      Artificial Intelligence in Education. AIED 2022. Lecture Notes in Computer Science

      巻: 13355 ページ: 465-476

    • DOI

      10.1007/978-3-031-11644-5_38

    • ISBN
      9783031116438, 9783031116445
    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Generating Feature Attribution-based Explanations for Automated Short Answer Scoring.2022

    • 著者名/発表者名
      Tasuku Sato, Hiroaki Funayama, Kazuaki Hanawa, Kentaro Inui
    • 雑誌名

      The 23rd International Conference on Artificial Intelligence in Education ( AIED2022 )

      巻: - ページ: 231-242

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [学会発表] Geometric Locality of Entity Embeddings in Masked Language Models.2023

    • 著者名/発表者名
      Masaki Sakata, Sho Yokoi, Benjamin Heinzerling, Kentaro Inui
    • 学会等名
      Non-archival submission for the ACL Student Research Workshop
    • 関連する報告書
      2023 実績報告書
    • 国際学会

URL: 

公開日: 2022-04-19   更新日: 2025-06-20  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi