| 研究課題/領域番号 |
20K00900
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分02100:外国語教育関連
|
|---|
| 研究機関 | 明治学院大学 |
|---|
研究代表者 |
杉田 由仁 明治学院大学, 文学部, 教授 (70363885)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2025-03-31
|
| 研究課題ステータス |
交付 (2022年度)
|
| 配分額 *注記 |
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2024年度: 520千円 (直接経費: 400千円、間接経費: 120千円)
2023年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2022年度: 390千円 (直接経費: 300千円、間接経費: 90千円)
2021年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2020年度: 520千円 (直接経費: 400千円、間接経費: 120千円)
|
|---|
| キーワード | ライティング・テスト / AI / 自動採点 / スコア予測精度 / システムAI化 / 深層学習 / 浅い機械学習 / 性能評価 / データ収集 / システム改修 / ライティング評価 / AI (人工知能) |
|---|
| 研究開始時の研究の概要 |
本研究は「AIを活用した英文ライティング自動評価採点システムの開発」を最終目的とする。データにもっとも適合したモデルを選択し、そのモデルが新たなデータに対してどのくらい性能を発揮するのかを測定し、評価する。そのような性能評価において「高性能」と判定されたモデルにより大規模なデータ収集を行い、「深層学習」から「深層強化学習」へと進めていく。こうした解析手法により、自動評価採点システムのAI化を達成し、信頼性・実用性の高い自動評価採点システムの完成を目ざす。
|
| 研究実績の概要 |
2022年度の研究では，ルールベースの初期モデル，決定木学習による機械学習モデル，深層学習による機械学習モデルを人間評定者とみなし，評定者スコアと合わせて評価実験を行った。その結果、4種類の評価システムの相関分析を行ったところ，Accuracy, Communicability タスクともに，実際の人間による評価と最も相関の度合いが強かったのは，深層学習モデルによる評価であり，ルールベースの初期モデルや機械学習モデルを上回るスコア予測精度が認められた。しかし，評定者スコアの収集を目的として行った2010調査および2012調査におけるTBWTの受験者やAIシステムの試行および評価結果アンケートへの協力者は共に大学生英語学習者であった。その多くが大学入学から間もない初年次生ではあったが，高校生を対象として開発したTBWTおよびそのシステムの評価実験のデータとしてはその妥当性を再吟味する必要がある。具体的には、1) 「評価エンジン」において全体集計・総合評価が行われる際に，照合するために呼び出す学習モデルのデータベースが十分ではないため，評定結果の安定性に課題がある。システムにより多くの学習用データを読み込ませて，データベース環境を拡大する必要がある,2) 総合評価の段階で，それぞれのタスクの観点別評定をどのような比重で統合するかによっても評定結果が変化することも考慮する必要がある。今後の開発において，システムの試行を繰り返すことによりデータベース環境を拡大し，各タスクの観点別評価における評定の比重を最適化することが求められる,3)深層学習モデルによる評価結果には一定の採点妥当性があることが確認されたが，データは十分であったとは言えない。より多くのテスト受験者とアンケート回答者を確保して，システムによる自動採点・評価の検証および改良の作業を継続して進めていくことが課題となる。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
日本人英語学習者の「書く」能力を測定するために開発を行った「タスクに基づくライティングテスト」に特化したAI を活用した自動評価採点システム構築し、そのスコア予測精度の検証を行うところまで進められたので。
|
| 今後の研究の推進方策 |
高校生を対象としたAIシステムによる自動評価採点およびその採点結果に対するアンケート調査を研究協力校に依頼して実施し、結果の分析を行う。
|
