2022 Fiscal Year Research-status Report
AIを活用した英文ライティング自動評価採点システムの開発
| Project/Area Number |
20K00900
|
|---|
| Research Institution | Meiji Gakuin University |
|---|
Principal Investigator |
杉田 由仁 明治学院大学, 文学部, 教授 (70363885)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Keywords | ライティング・テスト / AI / 自動採点 / スコア予測精度 |
|---|
| Outline of Annual Research Achievements |
2022年度の研究では，ルールベースの初期モデル，決定木学習による機械学習モデル，深層学習による機械学習モデルを人間評定者とみなし，評定者スコアと合わせて評価実験を行った。その結果、4種類の評価システムの相関分析を行ったところ，Accuracy, Communicability タスクともに，実際の人間による評価と最も相関の度合いが強かったのは，深層学習モデルによる評価であり，ルールベースの初期モデルや機械学習モデルを上回るスコア予測精度が認められた。しかし，評定者スコアの収集を目的として行った2010調査および2012調査におけるTBWTの受験者やAIシステムの試行および評価結果アンケートへの協力者は共に大学生英語学習者であった。その多くが大学入学から間もない初年次生ではあったが，高校生を対象として開発したTBWTおよびそのシステムの評価実験のデータとしてはその妥当性を再吟味する必要がある。具体的には、1) 「評価エンジン」において全体集計・総合評価が行われる際に，照合するために呼び出す学習モデルのデータベースが十分ではないため，評定結果の安定性に課題がある。システムにより多くの学習用データを読み込ませて，データベース環境を拡大する必要がある,2) 総合評価の段階で，それぞれのタスクの観点別評定をどのような比重で統合するかによっても評定結果が変化することも考慮する必要がある。今後の開発において，システムの試行を繰り返すことによりデータベース環境を拡大し，各タスクの観点別評価における評定の比重を最適化することが求められる,3)深層学習モデルによる評価結果には一定の採点妥当性があることが確認されたが，データは十分であったとは言えない。より多くのテスト受験者とアンケート回答者を確保して，システムによる自動採点・評価の検証および改良の作業を継続して進めていくことが課題となる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
日本人英語学習者の「書く」能力を測定するために開発を行った「タスクに基づくライティングテスト」に特化したAI を活用した自動評価採点システム構築し、そのスコア予測精度の検証を行うところまで進められたので。
|
| Strategy for Future Research Activity |
高校生を対象としたAIシステムによる自動評価採点およびその採点結果に対するアンケート調査を研究協力校に依頼して実施し、結果の分析を行う。
|
Research Products
(1 results)
