2022 Fiscal Year Annual Research Report
語学テストにおける自然言語処理手法を活用した敵対項目検出手法の開発と評価
| Project/Area Number |
20K20821
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
光永 悠彦 名古屋大学, 教育発達科学研究科, 准教授 (70742295)
|
|---|
| Project Period (FY) |
2020-07-30 – 2023-03-31
|
| Keywords | 機械学習 / 大規模コーパス / コンピュータ適応型テスト / 大規模テスト |
|---|
| Outline of Annual Research Achievements |
本研究計画においては、同時に出題することにより互いにヒントとなるおそれがある項目ペアを「敵対項目」と考え、問題文の内容から語彙の類似性を加味した敵対項目検出アルゴリズムを提案することにあった。
2021年度に導入予定であったワークステーションが、世界的な半導体不足による納期の大幅遅延に伴い、納入が2022年度にずれ込んだ。そのため、敵対項目検出のためのモデルの検証も、2022年度にずれ込むこととなった。また、新型コロナウイルス感染症の拡大により、実際に検出された項目ペアが、同時出題により回答状況に影響を及ぼすかを実際の受験者に出題して確かめる「効果検証」に関しても、予定していた学校（大学）の協力が得られなかったことから、2022年度においても実施できなかった。一方、2021年から2022年にかけて、ChatGPTに代表される「大規模コーパスを用いた人工知能エンジン」の改良が相次ぎ、モデルの構築にあたっても研究計画策定当初のWord2Vecのような「単語単位」による語彙類似性の評価だけではなく、文脈を加味した類似度の評価を行えるモデルが提案されるようになってきた。そのため、2022年度においては自然言語処理モデルの技術更新についていく可能性を模索することとした。あわせて、学習の教師信号として利用するコーパスについても、英語のテキストを導入する可能性についても検討した。
これらの検討の結果、旧来のWord2Vecに代表される「単語単位」の学習エンジンであっても、ある程度の実用性をもった学習モデルが構築できる可能性が提案された。モデル構築に要するマシンの性能や学習の教師としてのコーパスサイズを考えると、汎用のモデルを用いるよりも、専用のコーパスと比較的小規模の学習モデルを用いたほうが、リアルタイム処理を容易に実装することができ、テストの実用上も好ましい結果となることが予想された。
|
