| 研究実績の概要 |
令和元年度には研究期間を延長し、平成19年度から開発・実用化に取り組んできた「タスクに基づくライティングテスト (Task-based Writing Test, 以後TBWTと呼ぶ) 」に特化した「コンピューターによる自動評価採点システム」のAI化への移行可能性について検討を行った。具体的には、ベトナムでオフショア開発を行っているIT企業に委託して、これまでの研究で蓄積したライティング・サンプルとその評価データを機械に学習させ、その学習結果に基づいて自動採点を行わせる「浅い機械学習」を試行した。できあがったモデルの性能調査に際して、解明すべき学術的「問い」として下記Q.1-4を設定した。
Q1. システムのAI化により、Accuracy およびCommunicability評価の説明率はどの程度向上するか。
Q2. システムのAI化に際して、Accuracy 評価の新指標として導入した単語誤り率をデータとして学習させることは、高性能モデルの構築につながるか。
Q3. AI化されたシステムによる評価結果には、Criterion との基準関連妥当性が認められるか。
Q4. システムのAI化により、タスクの評価内容や結果の解釈がしやすくなるようなフィードバックを自動的に学習者に与えることができるか。
令和2年度からの研究において、ベトナムの開発スタッフと連携・調査し、学術的「問い」の解明に取り組み、日本人英語学習者にとって有益なフィードバックが自動的に与えられるようにシステムを拡張し、TBWT-AIの完成を目ざしたいと考える。
|
