• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Computational Modeling of Argumentation Understanding

Research Project

Project/Area Number 22H00524
Research Category

Grant-in-Aid for Scientific Research (A)

Allocation TypeSingle-year Grants
Section一般
Review Section Medium-sized Section 61:Human informatics and related fields
Research InstitutionTohoku University

Principal Investigator

乾 健太郎  東北大学, 言語AI研究センター, 教授 (60272689)

Co-Investigator(Kenkyū-buntansha) HEINZERLING BENJAMIN  国立研究開発法人理化学研究所, 革新知能統合研究センター, 副チームリーダー (50846491)
中川 智皓  大阪公立大学, 大学院工学研究科, 准教授 (70582336)
井之上 直也  北陸先端科学技術大学院大学, 先端科学技術研究科, 准教授 (80778605)
吉川 将司  東北大学, タフ・サイバーフィジカルAI研究センター, 助教 (80883470)
Project Period (FY) 2022-04-01 – 2027-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥41,470,000 (Direct Cost: ¥31,900,000、Indirect Cost: ¥9,570,000)
Fiscal Year 2025: ¥8,840,000 (Direct Cost: ¥6,800,000、Indirect Cost: ¥2,040,000)
Fiscal Year 2024: ¥8,710,000 (Direct Cost: ¥6,700,000、Indirect Cost: ¥2,010,000)
Fiscal Year 2023: ¥8,450,000 (Direct Cost: ¥6,500,000、Indirect Cost: ¥1,950,000)
Fiscal Year 2022: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
Keywords自然言語処理学 / 論述診断 / 論理構造解析 / 論述学習支援 / 自然言語処理
Outline of Research at the Start

批判的思考力の育成方法として論述作文・ディベートなど「論述」の学校教育への導入が進んでいるが、学習効果を高めるには学習者の論述を適切に評価し助言する必要があり、教員の負担が課題となっている。これに対し本研究では、論述の評価と助言を自動化し、論述学習を支援する新しい「論述診断」技術の構築を目指す。微細領域設定のもとで知識と推論に基づく論述理解論述診断の計算モデルを構築し、これを論述学習支援に繋げる。パーラメンタリーディベート形式のディベート教育を対象として「論述学習支援システム」を構築し、実際の教育現場で実証実験を行う。

Outline of Annual Research Achievements

課題①「微細領域論述知識ベースの動的構築」および課題②「ニューラル仮説推論による論理構造解析」に取り組んだ。
課題①については、前年度に設計・構築した特定の微細領域に関する論理構造注釈付き反論コーパスを教育的フィードバック生成への有用性の観点からさらに再整理し、注釈の仕様から過度に複雑な部分を削除した新たな仕様を作成した。また、クラウドソーシングによる注釈付けのためのツール群も整備し、クラウドソーシングによって反論に対する論理構造の注釈付けが可能であることを示した。
また、反論に加えて、hasty generalizationなど論述に潜む誤謬についても本研究のアプローチで分析し、上記の論理構造を拡張によって自然にその論理的誤謬の構造を捉えることができることを明らかにした。この分析に基づき、誤謬の論理構造の注釈の設計、データセットの構築を行った。
課題②については、課題①で構築した反論コーパスを用いて、反論の論理構造の解析という新しい課題に着手し、初手として大規模言語モデル(LLM)を用いたベースラインの調査を行った。これまでの実験結果からは、現在入手可能なLLMは訓練された人間に比べ著しくパフォーマンスが低いことがわかった。このことから、我々が設計した論理構造タスクは、教育的フィードバック生成に有用であり、人間には解くことができる課題でありながら、現在のLLMの技術では解決が難しことがわかり、学術的に価値のある課題であることが示された。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

課題①の目標はすでに達成できており、課題②についても予備調査が終了し、技術的な核心部分に着手するところまで到達できている。また、当初計画では想定していなかった論述の誤謬についても、本研究のアプローチが有効である可能性が明らかになり、この部分ついては想定以上の進展があった。

Strategy for Future Research Activity

反論、誤謬の2つの副領域について並行で当初計画を推進する予定である。

Report

(3 results)
  • 2023 Annual Research Report
  • 2022 Comments on the Screening Results   Annual Research Report
  • Research Products

    (16 results)

All 2024 2023 2022

All Journal Article (15 results) (of which Peer Reviewed: 12 results,  Open Access: 14 results) Presentation (1 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] 反論の論理パターン解析: データセット構築と実現性検証2024

    • Author(s)
      内藤昭一, 王文質, Paul Reisert, 井之上直也, Camelia Guerraoui, 山口健史 , Jungmin Choi, Irfan Robbani, 乾健太郎
    • Journal Title

      言語処理学会 第30回年次大会 発表論文集( 2024年3月 )

      Volume: -

    • Related Report
      2023 Annual Research Report
    • Open Access
  • [Journal Article] Empirical Analysis of Methods for Evaluating Faithfulness of Explanations by Feature Attribution2023

    • Author(s)
      Asazuma Yuya, Hanawa Kazuaki, Inui Kentaro
    • Journal Title

      Transactions of the Japanese Society for Artificial Intelligence

      Volume: 38 Issue: 6 Pages: C-N22_1-9

    • DOI

      10.1527/tjsai.38-6_C-N22

    • ISSN
      1346-0714, 1346-8030
    • Year and Date
      2023-11-01
    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Frontiers in Explainable Automated Writing Evaluation2023

    • Author(s)
      INUI Kentaro、ISHII Yutaka、MATSUBAYASHI Yuichiroh、INOUE Naoya、NAITO Shoichi、ISOBE Yoriko、FUNAYAMA Hiroaki、KIKUCHI Seiya
    • Journal Title

      IEICE ESS Fundamentals Review

      Volume: 16 Issue: 4 Pages: 289-300

    • DOI

      10.1587/essfr.16.4_289

    • ISSN
      1882-0875
    • Year and Date
      2023-04-01
    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Teach Me How to Argue: A Survey on NLP Feedback Systems in Argumentation2023

    • Author(s)
      Guerraoui Camelia, Reisert Paul, Inoue Naoya, Mim Farjana Sultana, Singh Keshav, Choi Jungmin, Robbani Irfan, Naito Shoichi, Wang Wenzhi, Inui Kentaro
    • Journal Title

      In Proceedings of the 10th Workshop on Argument Mining

      Volume: - Pages: 19-34

    • DOI

      10.18653/v1/2023.argmining-1.3

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Take No Shortcuts! Stick to the Rubric: A Method for Building Trustworthy Short Answer Scoring Models2023

    • Author(s)
      Yuya Asazuma, Hiroaki Funayama, Yuichiroh Matsubayashi, Tomoya Mizumoto, Paul Reisert, Kentaro Inui
    • Journal Title

      Proceedings of the 10th Workshop on Argument Mining

      Volume: -

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Reducing the? Cost: Cross-Prompt Pre-finetuning for? Short Answer Scoring2023

    • Author(s)
      Funayama Hiroaki, Asazuma Yuya, Matsubayashi Yuichiroh, Mizumoto Tomoya, Inui Kentaro
    • Journal Title

      International conference on artificial intelligence in education

      Volume: - Pages: 78-89

    • DOI

      10.1007/978-3-031-36272-9_7

    • ISBN
      9783031362712, 9783031362729
    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Do Deep Neural Networks Capture Compositionality in Arithmetic Reasoning?2023

    • Author(s)
      Keito Kudo, Yoichi Aoki, Tatsuki Kuribayashi, Ana Brassard, Masashi Yoshikawa, Keisuke Sakaguchi, Kentaro Inui
    • Journal Title

      Proceedings of the 2023 Conference of the European Chapter of the Association for Computational Linguistics

      Volume: 0 Pages: 1343-1354

    • DOI

      10.18653/v1/2023.eacl-main.98

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Empirical Investigation of Neural Symbolic Reasoning Strategies2023

    • Author(s)
      Yoichi Aoki, Keito Kudo, Tatsuki Kuribayashi, Ana Brassard, Masashi Yoshikawa, Keisuke Sakaguchi, Kentaro Inui
    • Journal Title

      In Findings of the 17th Conference of the European Chapter of the Association for Computational Linguistics (EACL2023 Findings)

      Volume: - Pages: 1124-1132

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Towards Creating Analytic Dimensions for Evaluating the Quality of Debate Counter-Arguments.2023

    • Author(s)
      王文質, Paul Reisert, 井之上直也, 内藤昭一, Camelia Guerraoui, Keshav Singh, 乾健太郎
    • Journal Title

      言語処理学会 第29回年次大会 発表論文集 ( 2023年3月 )

      Volume: - Pages: 1-4

    • Related Report
      2023 Annual Research Report
    • Open Access
  • [Journal Article] 大規模言語モデルが生成した反論文の品質評価2023

    • Author(s)
      尾崎大晟, 中川智皓, 内藤昭一, 井之上直也, 山口健史
    • Journal Title

      人工知能学会全国大会 (第37回) 論文集

      Volume: - Pages: 1-4

    • Related Report
      2023 Annual Research Report
    • Open Access
  • [Journal Article] LPAttack: A Feasible Annotation Scheme for Capturing Logic Pattern of Attacks in Arguments.2022

    • Author(s)
      Farjana Sultana Mim, Naoya Inoue, Shoichi Naito, Keshav Singh, Kentaro Inui
    • Journal Title

      In Proceedings of the 13th International Conference on the Language Resources and Evaluation Conference ( LREC 2022 )

      Volume: - Pages: 2446-2459

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] IRAC: A Domain-specific Annotated Corpus of Implicit Reasoning in Arguments.2022

    • Author(s)
      Keshav Singh, Naoya Inoue, Farjana Sultana Mim, Shoichi Naito, Kentaro Inui.
    • Journal Title

      In Proceedings of the 13th International Conference on the Language Resources and Evaluation Conference ( LREC 2022)

      Volume: - Pages: 4674-4683

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] TYPIC: A Corpus of Template-Based Diagnostic Comments on Argumentation.2022

    • Author(s)
      Shoichi Naito, Shintaro Sawada, Chihiro Nakagawa, Naoya Inoue, Kenshi Yamaguchi, Iori Shimizu, Farjana Sultana Mim, Keshav Singh, Kentaro Inui
    • Journal Title

      The 13th International Conference on the Language Resources and Evaluation Conference ( LREC 2022 )

      Volume: - Pages: 5916-5928

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Balancing Cost and?Quality: An Exploration of?Human-in-the-Loop Frameworks for?Automated Short Answer Scoring2022

    • Author(s)
      Funayama Hiroaki、Sato Tasuku、Matsubayashi Yuichiroh、Mizumoto Tomoya、Suzuki Jun、Inui Kentaro
    • Journal Title

      Artificial Intelligence in Education. AIED 2022. Lecture Notes in Computer Science

      Volume: 13355 Pages: 465-476

    • DOI

      10.1007/978-3-031-11644-5_38

    • ISBN
      9783031116438, 9783031116445
    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Generating Feature Attribution-based Explanations for Automated Short Answer Scoring.2022

    • Author(s)
      Tasuku Sato, Hiroaki Funayama, Kazuaki Hanawa, Kentaro Inui
    • Journal Title

      The 23rd International Conference on Artificial Intelligence in Education ( AIED2022 )

      Volume: - Pages: 231-242

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Presentation] Geometric Locality of Entity Embeddings in Masked Language Models.2023

    • Author(s)
      Masaki Sakata, Sho Yokoi, Benjamin Heinzerling, Kentaro Inui
    • Organizer
      Non-archival submission for the ACL Student Research Workshop
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2022-04-19   Modified: 2025-04-17  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi