2022 Fiscal Year Research-status Report
Developing an Index to Measure of Text Coherence Using Natural Language Processing and Its Application to Prediction of Reading Test Difficulty
| Project/Area Number |
20K00901
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
岩下 智彦 早稲田大学, 日本語教育研究センター, その他(招聘研究員) (00803397)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 日本語教育 / 自然言語処理 / 読解 / 言語テスト / 単語ベクトル / 難易度予測 / 文生成 |
|---|
| Outline of Annual Research Achievements |
本年度における研究実績は以下の通りです。
1）テスト項目に対する評定において、一部、評定者間で認識が異なっている評定項目があることが明らかになった。そのため、改めて各評定者に対して説明を行った上で、該当する評定の一部に対して再評定を依頼し、その結果の収集と整形作業が終了した。
2）文章に対する言語統計値の集計を行った。各文章の言語特徴量や語彙レベルなど数量化可能な情報の集計を行い、各文章の言語特徴量の観点による特徴を明らかにした。
3）文章とテスト項目難易度との関連性について検討するため、N-gramをはじめとした明示的な情報に着目した本文と選択肢のる重複率の算出を行った。その結果、文章とテスト項目との関連性について、明示的な情報に基づく関連性を示すことができた。
4）自然言語処理技術への理解を深めるため、本研究でも利用するBERTを用いた文生成の実装を行った。BERTを用いて日本語教育向けの例文生成を行い、その生成文の評定結果を集計した。その結果、全評定データの6割以上に対して正しい文という評定がされていることが明らかになった。これにより、自然言語処理技術の日本語教育への応用可能性について、新たな視点を提供した。
5）自然言語処理を用いた一貫性の数値化に関する先行研究および読解テストの難易度予測に関する先行研究の調査を行った。これにより、本研究が日本語教育分野と自然言語処理分野の両方に位置づけられることを明確にし、これら二つの分野が交差する領域において、新たな知見を提供できる可能性を示しました。上記、4）については、日本語教育学会春季大会において、その成果を発表した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究は、読解問題の文章に対して人手による評定を行った結果を対象とした研究とその文章を機械的に処理し、自然言語処理の技術を応用する研究に分けられる。前者に関しては昨年度、予定通り研究成果をまとめたが、後者に関しては、主にプログラムによる処理の方法と手法の検討を行った。プログラムを用いた機械処理については、新たに習得すべき点が多く、時間がかかっているため、研究作業全体の進捗に遅延が生じた。
|
| Strategy for Future Research Activity |
本年度までの実績により、本研究の目的1）人が評定する文章の一貫性は，自然言語処理の技術を用いて定量的に表現することが可能か。に関しては部分的な結果が得られた。昨年度までの成果に加えて、言語統計の観点も加えた、より精緻な検証を行う予定である。
今後は研究計画に従い、研究目的2)文章の一貫性は，読解テストの難易度に影響を与えているのか。および3)その影響は，設問の種類により異なるかという点について、分析作業を進め、成果を報告する予定である。
|
| Causes of Carryover |
新型コロナの流行により調査データの円滑な収集に支障が生じ、研究作業の一部のスケジュールが全体的に後ろ倒しとなったため、学会発表や論文執筆といった成果発表の時期が当初の予定より遅れた。そのため研究期間の延長申請をおこい、予算も成果の公開に必要な程度残す必要性が生じたため。
|
