Developing an Index to Measure of Text Coherence Using Natural Language Processing and Its Application to Prediction of Reading Test Difficulty

2020 Fiscal Year Research-status Report

• Project/Area Number: 20K00901
• Research Institution: Waseda University
• Principal Investigator: 岩下 智彦 早稲田大学, 日本語教育研究センター, 講師(任期付) (00803397)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 言語テスト / 日本語教育 / 教育工学 / 自然言語処理 / 読解 / 単語ベクトル / 文章の計算モデル / テスト項目の難易度予測

Outline of Annual Research Achievements

(1) 日本語学習者を対象とした読解テストの文章に対して、日本語教育の専門家8名よる評定を行った。評定項目は、日本語学習者の書いた作文評価および自然言語処理における文章評価の研究成果を参考にして作成した。文章の一貫性とそれに関連する10項目による評定結果を収集し、一般化線形混合モデル（Generalized linear Mixed Model）による分析を行った。現在、分析結果の検討を行い、その成果を国内の関連学会にて発表、投稿予定である。
(2) 日本語学習者を対象とした読解テストの問題項目に対して、日本語教育の専門家8名よる評定を行っている。評定項目は、英語および日本語の読解テストの質問種に関する研究成果を参考にして作成した。現在、問題の種類とそれに関連する5項目による評定を依頼を済ませ、評定結果を待っている状態である。
(3) NLPモデルに基づいた文章の関連度を数値化する際に使用するコーパスを選定し、新聞コーパスおよび日本語の書き言葉均衡コーパスを準備した。計算機上の分析環境を構築し、最もシンプルな分析方法として文章内の重複語彙を抽出するためのプログラムを作成した。現在、このプログラムの検討および分析作業を進めている。
(4)関連領域の文献調査を行っている。本研究は、主に日本語教育分野と自然言語処理分野の2つの領域に関わる研究である。そこで、日本語教育分野においては、日本語学習者に対する作文評価の研究、読解テストの研究、文章・談話研究などから関連研究の成果をまとめている。自然言語処理分野においては、文章の数量化の研究、言語形態的指標を用いた文章評価の研究、機械学習の手法を用いた文の予測の研究などの成果をまとめている。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初の計画では、2つの調査を2年度に分けて行う予定であったが、調査協力者の見通しがたったため、2つの調査および分析に必要なコーパス等の収集を先行し、分析作業を翌年度に行うことにした。文章を対象とした調査1については、円滑に評定結果が得られたため予定通り、分析作業を行った。より精緻な分析結果を得るために分析方法は計画時より新しいモデルを採用して行っている。問題項目を対象とした調査2については、現在、評定作業中であり、21年度5月中に調査が完了する予定である。
計画時と比較し、調査1の分析作業が遅れているが、調査2については、予定よりも早く調査が進んでいるため、総じて概ね順調に進展しているといえる。

Strategy for Future Research Activity

文章評定を対象とした調査1の内容については、今年度中に分析結果をまとめ、発表、投稿の予定である。特に統計処理、言語処理に関しては、より新しい手法を採用し、精緻な結果を報告したい。
問題項目の評定を対象とした調査2の内容については、評定結果が揃い次第、分析を開始する予定である。調査1で使用した手法の一部が援用可能であり、分析作業は予定よりも早く進めたいと考えている。調査2の結果についても今年度内に取りまとめ、発表、投稿を行いたい。

Causes of Carryover

調査2の評定を8名に依頼しているが、一部、予定していた年度内に作業が完了しなかったため、謝金分の予算消化が遅れている。21年度に評定作業が完了し次第、予定通り使用予定である。