2020 Fiscal Year Research-status Report
語学テストにおける自然言語処理手法を活用した敵対項目検出手法の開発と評価
| Project/Area Number |
20K20821
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
光永 悠彦 名古屋大学, 教育発達科学研究科, 准教授 (70742295)
|
|---|
| Project Period (FY) |
2020-07-30 – 2022-03-31
|
| Keywords | 機械学習 / 項目バンク / コンピュータ適応型テスト（ＣＡＴ） / 大規模テスト / 言語テスト |
|---|
| Outline of Annual Research Achievements |
本年度においては機械学習モデルの適用可能性及び実際のテスト場面における応用可能性について検討した。機械学習モデルの適用可能性については、当初の提案手法であったWord2Vecによる単語間の類似度評価手法に加え、数種の類似モデルについて比較検討を行ったが、当初の予測に比べて手法間の差異は見られなかった。また、類似度の検討に際して複数の推定パラメタ（ベクトルの次元数など）を統一的に扱う手法についての検討を行った。
並行して、実際のテスト場面において類似度による敵対項目検出の試みを行った。テストは語彙の意味を問うもので、類似度指標及び正答・非正答選択枝の違いを加味して総合的に敵対項目として同時出題を禁止するかを検討する仕組みを探った。結果として、類似度指標の情報を用いずに、語彙そのものの登場頻度だけの情報により敵対項目を選定したほうが、実際のテスト運用場面において「敵対項目としてふさわしい」と判断される傾向が高かった。この結果から、敵対項目の判断に文脈の情報を入れることや、類似度指標の算出の前提となるコーパス情報の最適化を図るなど、さらなる類似度指標の精緻化が必要であることが示唆された。
これらの結果を総合すると、敵対項目の検出のためには当初想定していた以上に「類似度」の定義を「テストで出題される語彙セット」の範囲に限定する必要があることがわかった。たとえば英語の初学者向けテストであれば、英語初学者の学習する範囲に限定したコーパスを用いる必要があるという結果であった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の研究計画においては1年目でおおまかな方法の開発を終え、今後の課題を洗い出すステップとすることとなっていたが、おおむねこの過程を終え、2年目における手法の洗練化及び実データによる実装という計画を進める前提が満たされたと考えている。
従前の結果を受けて、敵対項目の検出については当初の予測にくらべてハードルが高いことが示唆された。理由としては(1)単語単独の意味の類似性だけではなく、問題文における文脈の違いにより単語の意味が変わることを含めた類似性の検討が必要であること、(2)単語の意味の類似性を求める前提となる膨大なコーパス（たとえばWikipediaなど）が必要であるが、語彙テスト受験者がその言語の初学者であり、語彙テストで頻出する単語のもつ意味は一般的な書き手が意識する意味よりも狭い範囲（あるいは平易な範囲）であり、それに対応したコーパスとしてたとえば教科書やワークブックといった教材で用いられる例文などを用いることがふさわしいこと、が挙げられた。(1)についてはモデルの改良、(2)についてはコーパスの整備が必要であるが、(2)は多くの人の手によって行われる必要があり、その方法について検討中である。
また実データによる検証は、英語語彙テストによるＣＡＴ（コンピュータ適応型テスト）のプラットフォームの開発に本研究の成果を盛り込むことを考えているが、そのために必要なデータ収集については今後の検討課題とする。
|
| Strategy for Future Research Activity |
2年目では(1)類似度算出のためのモデルのさらなる見直し、(2)類似度算出のためのコーパスの作成、(3)(1)及び(2)で検討・作成したモデル及びコーパスを用いた類似度評価手法を用いたＣＡＴへの応用（評価実験を含む）、の3段階について行う予定である。
(1)については計算時間を長く必要とするモデルにも探索の幅を広げ、さらなるモデルの精緻化を目指す。また文脈情報を加味したdoc2Vecとよばれるモデルから派生した諸モデルの検討を行う。
(2)については(3)で示したＣＡＴへの応用を見据えて、民間の提供する英語教科書コーパスを購入することや、英語テキストの入力を依頼してコーパスを構築することを検討する。ただしこの点については多くの時間を必要とするため、効率的に進める方法を検討する。
(3)については研究代表者がＣＡＴの開発プロジェクトをリードする立場にあることや、ＣＡＴで出題される問題項目バンクにアクセスする権限を有することから、実施に大きな困難はないものと予想される。ただし類似度が意図通りに推定されるかどうかについて、評価実験を行う必要があると考えており、その手法については検討を要するが、新型コロナウイルス感染症の拡大動向によっては実施のために制約を受ける可能性もあるため、オンラインでデータをとるなどの方策を考える。
|
| Causes of Carryover |
本事業においては、実施1年目に新しいワークステーションを用いてモデルの探索を行う予定であったが、モデルの探索において複雑な数値計算を要する必要が生じなかったため、より高性能なマシンを用いたモデルの探索を次年度に持ち越すこととし、ワークステーション購入のための経費を繰り越すこととした。また発表予定であった学会（IMPS2020）が新型コロナウイルス感染症の世界的拡大のためキャンセルとなり、学会参加費用が不要となった。これらの経費は翌年度においていずれも実施1年目に予定した経費として執行予定である。
|
Research Products
(1 results)
