2019 Fiscal Year Annual Research Report
Development of Automated Essay-Scoring System for a Task-Based Writing Test
| Project/Area Number |
16K02981
|
|---|
| Research Institution | Meiji Gakuin University |
|---|
Principal Investigator |
杉田 由仁 明治学院大学, 文学部, 教授 (70363885)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
石井 雄隆 早稲田大学, 大学総合研究センター, 助手 (90756545) [Withdrawn]
|
|---|
| Project Period (FY) |
2016-04-01 – 2020-03-31
|
| Keywords | ライティング / 自動評価採点 |
|---|
| Outline of Annual Research Achievements |
令和元年度には研究期間を延長し、平成19年度から開発・実用化に取り組んできた「タスクに基づくライティングテスト (Task-based Writing Test, 以後TBWTと呼ぶ) 」に特化した「コンピューターによる自動評価採点システム」のAI化への移行可能性について検討を行った。具体的には、ベトナムでオフショア開発を行っているIT企業に委託して、これまでの研究で蓄積したライティング・サンプルとその評価データを機械に学習させ、その学習結果に基づいて自動採点を行わせる「浅い機械学習」を試行した。できあがったモデルの性能調査に際して、解明すべき学術的「問い」として下記Q.1-4を設定した。
Q1. システムのAI化により、Accuracy およびCommunicability評価の説明率はどの程度向上するか。
Q2. システムのAI化に際して、Accuracy 評価の新指標として導入した単語誤り率をデータとして学習させることは、高性能モデルの構築につながるか。
Q3. AI化されたシステムによる評価結果には、Criterion との基準関連妥当性が認められるか。
Q4. システムのAI化により、タスクの評価内容や結果の解釈がしやすくなるようなフィードバックを自動的に学習者に与えることができるか。
令和2年度からの研究において、ベトナムの開発スタッフと連携・調査し、学術的「問い」の解明に取り組み、日本人英語学習者にとって有益なフィードバックが自動的に与えられるようにシステムを拡張し、TBWT-AIの完成を目ざしたいと考える。
|
