• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Exploring high-reliability and cost-effective methods for generating feedback comment generataton for writing learning

Research Project

Project/Area Number 22K12326
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 62030:Learning support system-related
Research InstitutionKonan University

Principal Investigator

永田 亮  甲南大学, 知能情報学部, 准教授 (10403312)

Co-Investigator(Kenkyū-buntansha) 荒瀬 由紀  大阪大学, 大学院情報科学研究科, 准教授 (00747165)
内田 諭  九州大学, 言語文化研究院, 准教授 (20589254)
Project Period (FY) 2022-04-01 – 2026-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2025: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Keywords解説文生成 / 文法誤り検出 / 文法誤り訂正 / フィードバック / 習熟度 / 学習支援システム / ライティング学習 / 文法誤り / 意味変化 / 用法変化 / 生成問題の分類問題への近似 / 言語モデルに内在する文法知識 / 語学学習 / 学習支援 / 自然言語処理 / 人工知能
Outline of Research at the Start

本研究で対象とするのは,英語ライティング学習を支援するAIの開発である.学習者の書いた作文に対して,文法を始めとするライティング技術に関する解説を行うAIである.AI技術の発達に伴い,自然な解説を自動生成できるようになりつつあるが,実現コストと信頼性の両面で依然大きな問題が残る.本研究では,この二つの問題を解決し,低コストで信頼性の高いライティング学習支援AIを実現する.具体的には,(1)大量データから獲得したAIに内在する英文法に関する知識を明示手的な形で取り出す方法論を確立し,(2)その知識を利用して解説文生成する手法を開発する.

Outline of Annual Research Achievements

本研究課題では,解説文自動生成の実用化を阻む大きな要因である(1)実現コストが高い,(2)致命的な誤生成が学習を阻害するという二つの問題の解決に取り組んでいる.

最近では,本研究課題の新生児とは大きく状況が異なり,ChatGPTをはじめとする大規模言語モデルのさらなる大規模化が進んでいる.これにより,解説文の生成性能は飛躍的に向上している.実際,一部の文法誤りについては誤りの検出ができれば,ほぼ100%の正確性で誤りの解説ができることが実験により明らかとなった.
この結果を受けて,本年度は,更に解説が難しい項目についての解説文生成に取り組んだ.まずは,誤りの検出ができれば解説が可能であるという知見を鑑み,最新の大規模言語モデルのfine-tuningによる誤り検出訂正性能の評価と関連する文法知識に関する調査した.この調査により,学習者のレベルに関係なく(より正確には学習者のレベルが低い文章を訓練データに用いると),どのレベルの学習者が書いた文章でも検出性能が最大となることが判明した.このことは,レベルに依存しない誤りの種類の存在と現状の大規模言語モデルでも検出,訂正ができない誤りがあることを示唆する.現在は,この結果の詳細な分析を行っており,文法知識との関係を明らかにすることを試みている.また,この過程で,誤り検出訂正性能をより正確に評価する手法を開発した.この成果により,より人間の評価に近い検出訂正性能が可能となった.
更に,より意味的な観点での解説を可能とするため,学習者のレベル別に単語の意味の使い分けを自動的に検出する手法を開発した.実際に,高校1年生と3年生の差異を明らかにし,解説文生成への応用を検討した.
以上の内容を国内国際学会で発表した.一部の成果は国際学会論文に向けて原稿を執筆中である.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

上述の通り,解説文生成を取り巻く状況の変化により,研究の方向性を修正する必要が生じているが,現状の大規模言語モデルの特性を考慮しつつ,当初の研究目的を大きく外れることなく,研究が進められている.実際,大規模言語モデルに基づいた解説文生成に関する新たな知見を得ており,また,順調に成果発表も行っている.

Strategy for Future Research Activity

今後は,現在行っている分析を推し進め,国際学会および紙面発表を行う予定である.また,これまでの成果を「事前学習済みニューラルネットに内在する文法知識の流用」と「生成問題の分類問題への近似」というアプローチを融合させて解説文を生成するための方法論としてまとめる予定である.

Report

(3 results)
  • 2024 Research-status Report
  • 2023 Research-status Report
  • 2022 Research-status Report
  • Research Products

    (9 results)

All 2025 2024 2023 2022

All Journal Article (3 results) (of which Peer Reviewed: 2 results,  Open Access: 2 results) Presentation (6 results) (of which Int'l Joint Research: 2 results)

  • [Journal Article] Variance Matters: Detecting Semantic Differences without Corpus/Word Alignment2023

    • Author(s)
      Nagata Ryo, Takamura Hiroya, Otani Naoki, Kawasaki Yoshifumi
    • Journal Title

      Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing

      Volume: - Pages: 15609-15622

    • DOI

      10.18653/v1/2023.emnlp-main.965

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Exploring how well Large-scale Masked Language Models can Recognize Grammatical Errors2023

    • Author(s)
      Kimura Manabu、Nagata Ryo、Hanawa Kazuaki
    • Journal Title

      Journal of Natural Language Processing

      Volume: 30 Issue: 2 Pages: 689-712

    • DOI

      10.5715/jnlp.30.689

    • ISSN
      1340-7619, 2185-8314
    • Related Report
      2023 Research-status Report
    • Peer Reviewed
  • [Journal Article] Report on FCG GenChal 2022: Shared Task on Feedback Comment Generation for Language Learners2023

    • Author(s)
      Ryo Nagata, Masato Hagiwara, Kazuaki Hanawa, and Masato Mita
    • Journal Title

      Proceedings of the 16th International Natural Language Generation Conference: Generation Challenges

      Volume: - Pages: 45-52

    • Related Report
      2023 Research-status Report
    • Open Access
  • [Presentation] 文法誤り検出/訂正における訓練データと評価データのドメイン不一致による性能向上現象2025

    • Author(s)
      木村学,永田亮
    • Organizer
      言語処理学会年次大会
    • Related Report
      2024 Research-status Report
  • [Presentation] n-gram F-score for Evaluating Grammatical Error Correction2024

    • Author(s)
      Shota Koyama, Ryo Nagata, Hiroya Takamura, Naoaki Okazaki
    • Organizer
      Proceedings of the 17th International Natural Language Generation Conference
    • Related Report
      2024 Research-status Report
    • Int'l Joint Research
  • [Presentation] 高校生の英語ライティングにおける単語使用パターンの発展 ― 単語ベクトルに基づく意味検出法を用いた研究 ―2024

    • Author(s)
      内田論, 永田亮
    • Organizer
      情報処理学会研究報告
    • Related Report
      2024 Research-status Report
  • [Presentation] 意味の集中度に基づいた意味変化検出2024

    • Author(s)
      永田亮,高村大也,大谷直輝,川崎義史
    • Organizer
      言語処理学会第30回年次大会発表論文集
    • Related Report
      2023 Research-status Report
  • [Presentation] 文法誤りにおける一般誤りの分離可能性と解説文生成への応用2023

    • Author(s)
      永田亮,木村学
    • Organizer
      言語処理学会 第29回年次大会 発表論文集
    • Related Report
      2022 Research-status Report
  • [Presentation] Exploring the Capacity of a Large-scale Masked Language Model to Recognize Grammatical Errors2022

    • Author(s)
      Nagata Ryo、Kimura Manabu、Hanawa Kazuaki
    • Organizer
      Findings of the Association for Computational Linguistics: ACL 2022
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research

URL: 

Published: 2022-04-19   Modified: 2025-12-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi