英語ライティング自動採点ツールとしての生成AIの一貫性・厳しさ・バイアスの解明

• 研究課題/領域番号: 24K22479
• 研究種目: 研究活動スタート支援
• 配分区分: 基金
• 審査区分: 0102:文学、言語学およびその関連分野
• 研究機関: 関西大学
• 研究代表者: 山下 太一 関西大学, 外国語学部, 助教 (50994620)
• 研究期間 (年度): 2024-07-31 – 2025-03-31
• 研究課題ステータス: 交付 (2024年度)
• 配分額: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円); 2024年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
• キーワード: 生成AI / 自動採点 / ライティング / 心理測定

研究開始時の研究の概要

近年、ChatGPT に代表される生成 AI の台頭により、ライティング自動採点ツールとしての生成 AI の研究が、世界中で急速に進んでいる。生成 AI と人間の採点結果の相関や一致率を見た研究はある一方、生成 AI の採点の一貫性（consistency）や厳しさ（severity）、特定の書き手の属性に対するバイアスを調査した研究は国内外問わず少ない。

本研究では、生成 AI による採点と人間による採点を①一貫性、②厳しさ、③特定の書き手に対するバイアスの観点から比較する。本研究によって、生成 AI の可能性を見極め、英語教師や学習者にとってよりよい使い方の提言に繋げる。