AIを活用した英文ライティング自動評価採点システムの開発
Project/Area Number |
20K00900
|
Research Category |
Grant-in-Aid for Scientific Research (C)
|
Allocation Type | Multi-year Fund |
Section | 一般 |
Review Section |
Basic Section 02100:Foreign language education-related
|
Research Institution | Meiji Gakuin University |
Principal Investigator |
杉田 由仁 明治学院大学, 文学部, 教授 (70363885)
|
Project Period (FY) |
2020-04-01 – 2025-03-31
|
Project Status |
Granted (Fiscal Year 2022)
|
Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2022: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2020: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
|
Keywords | ライティング・テスト / AI / 自動採点 / スコア予測精度 / システムAI化 / 深層学習 / 浅い機械学習 / 性能評価 / データ収集 / システム改修 / ライティング評価 / AI (人工知能) |
Outline of Research at the Start |
本研究は「AIを活用した英文ライティング自動評価採点システムの開発」を最終目的とする。データにもっとも適合したモデルを選択し、そのモデルが新たなデータに対してどのくらい性能を発揮するのかを測定し、評価する。そのような性能評価において「高性能」と判定されたモデルにより大規模なデータ収集を行い、「深層学習」から「深層強化学習」へと進めていく。こうした解析手法により、自動評価採点システムのAI化を達成し、信頼性・実用性の高い自動評価採点システムの完成を目ざす。
|
Outline of Annual Research Achievements |
2022年度の研究では,ルールベースの初期モデル,決定木学習による機械学習モデル,深層学習による機械学習モデルを人間評定者とみなし,評定者スコアと合わせて評価実験を行った。その結果、4種類の評価システムの相関分析を行ったところ,Accuracy, Communicability タスクともに,実際の人間による評価と最も相関の度合いが強かったのは,深層学習モデルによる評価であり,ルールベースの初期モデルや機械学習モデルを上回るスコア予測精度が認められた。しかし,評定者スコアの収集を目的として行った2010調査および2012調査におけるTBWTの受験者やAIシステムの試行および評価結果アンケートへの協力者は共に大学生英語学習者であった。その多くが大学入学から間もない初年次生ではあったが,高校生を対象として開発したTBWTおよびそのシステムの評価実験のデータとしてはその妥当性を再吟味する必要がある。具体的には、1) 「評価エンジン」において全体集計・総合評価が行われる際に,照合するために呼び出す学習モデルのデータベースが十分ではないため,評定結果の安定性に課題がある。システムにより多くの学習用データを読み込ませて,データベース環境を拡大する必要がある,2) 総合評価の段階で,それぞれのタスクの観点別評定をどのような比重で統合するかによっても評定結果が変化することも考慮する必要がある。今後の開発において,システムの試行を繰り返すことによりデータベース環境を拡大し,各タスクの観点別評価における評定の比重を最適化することが求められる,3)深層学習モデルによる評価結果には一定の採点妥当性があることが確認されたが,データは十分であったとは言えない。より多くのテスト受験者とアンケート回答者を確保して,システムによる自動採点・評価の検証および改良の作業を継続して進めていくことが課題となる。
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
日本人英語学習者の「書く」能力を測定するために開発を行った「タスクに基づくライティングテスト」に特化したAI を活用した自動評価採点システム構築し、そのスコア予測精度の検証を行うところまで進められたので。
|
Strategy for Future Research Activity |
高校生を対象としたAIシステムによる自動評価採点およびその採点結果に対するアンケート調査を研究協力校に依頼して実施し、結果の分析を行う。
|
Report
(3 results)
Research Products
(1 results)