Developing an Index to Measure of Text Coherence Using Natural Language Processing and Its Application to Prediction of Reading Test Difficulty

2023 Fiscal Year Research-status Report

• Project/Area Number: 20K00901
• Research Institution: Waseda University
• Principal Investigator: 岩下 智彦 早稲田大学, 日本語教育研究センター, その他(招聘研究員) (00803397)
• Project Period (FY): 2020-04-01 – 2025-03-31
• Keywords: 日本語教育 / 自然言語処理 / 読解 / 言語テスト / 単語ベクトル / 難易度予測 / 文生成

Outline of Annual Research Achievements

本年度における研究実績は以下の通りである。
1）研究機関を通して，最も難航してた言語モデルによるテキストの類似度の計算作業が完了した。使用する言語モデルと計算手法を組み合わせることで約50通りのテキストの類似度が算出できた。これらの値と専門家による評定の関連性を確認した。
2）調査対象としたテキストの結束性に焦点を当て，複数の言語特徴量の集計を行った。今後，これらの値と専門家による評定およびテキストの類似度との関連性を分析する予定である。
3）これまで調査したテストの読解文と異なるタイプのテキストに対しても類似度の指標が有効であるかを確認するため，異なるテキストデータを収集し，評定調査を実施した。すべての評定結果が収集され，現在，分析を行なっている。
4）自然言語処理技術への理解を深めるため、本研究でも利用するBERTを用いた文生成の実装を継続して行った。現在，使用する言語モデルおよび微調整の方法を検討中である。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

昨年度から引き続き，自然言語処理のプログラミングにおいて一定の時間が必要とされたため，計画の遅延が生じた。現在のとこ路，研究協力者の協力もあり，言語処理において必要な工程は概ね完了することができた。また，評定対象としたテキストの質的なバリエーションが少なく，対象とするテキストの拡大，および分析方法の検討を要した。現在，新たなテキストの評定調査が終了し，分析を進めている。

Strategy for Future Research Activity

現在，当初の計画に必要な調査および分析手法の実装がすべて完了し，順に分析を進めている。一定の成果がまとまった時点で年度内に論文として投稿する予定である。

Causes of Carryover

再調査を行ったための謝金の支出