ルーブリックに基づくレポート自動採点支援システムの精度向上と教育現場での活用

2023 年度 実施状況報告書

• 研究課題/領域番号: 18K11589
• 研究機関: 名古屋外国語大学
• 研究代表者: 山本 恵 名古屋外国語大学, 現代国際学部, 教授 (90373175)
• 研究期間 (年度): 2018-04-01 – 2025-03-31
• キーワード: 自動採点 / ルーブリック / 機械学習 / LDA

研究実績の概要

本研究では、授学生・教員双方に役立つレポート自動採点支援システムを構築している。レポート採点用ルーブリックを策定し、各評価項目について自動採点を行う。
2018年度は採点精度の向上を目指して、各評価項目を見直し、特に論作文スキルの評価項目である語彙水準評価値の採点方法の改善に注視した。2019年度は、前年度に提案した語彙水準レベル辞書構築モデルにしたがい、年度内最新の日本語Wikipediaコーパスから当該辞書を再構築し、計算した単語難易度の精度の検証と網羅性に関わる改善を進めた。2020年度からは、教員の手動採点結果を詳細に分析し、評価項目の改善を目指した。採点時にチェックされた改善すべき項目数の合計と、総合得点との相関を求めた結果、高い相関があり、改善すべき点が多いほど得点が低いことは明らかである。評価項目については現行通りで問題はないが、評価時に重視する項目が教員間で異なり、配点に差異が生じる。特に総合得点が低いレポートは教員間で共通し、高いレポートは違いがあるなどの知見が得られた。
2022～2023年度は、前年度の研究結果を受け、蓄積された低評価レポートデータを用いて評価の低いレポートと高いレポートに分け、低いレポートの総合評価を提示することを中心に行った。評価値が類似するレポートを分析して特徴を明らかにし、自動採点システムに反映させる試みを行った。高いレポートについては教員間で共通の評価項目が得られず、総合評価の有効な自動計算方法が存在しないことが判明した。 そこで総合評価ではなく本質的な評価内容を強調したフィードバックシステムが有益であること提案し、アウトプットの内容を検討した。

現在までの達成度 (区分)

4: 遅れている

理由

2021年度には研究途中で明らかになった問題を解決するためプラスとなった分析作業に多くを費やすこととなった。さらに2020年度より、新型コロナウィルスの影響で研究が遅れ気味である。本研究で扱う学生レポートと採点結果、およびアンケート結果は関連する大学の研究倫理規定に従い利用し、研究を遂行しているものである。人権の保護及び法令等の遵守への対応で述べたようにデータの保管についても研究代表者の研究室で管理するものである。所属大学は2020年度オンライン授業を中心としており、大学入構規制がかかる期間は研究が困難であった。また高速に処理をするためのコンピュータの入手が困難となっている。
2021年度、2022年度はコロナウィルスの影響で学生対応に割く時間が増えた。また昨今はクラウドサービスの利用が増加していることから、これらに変更することを視野にシステムを再考することとした。2023年度はクラウドサービスへの移行を決断し開始したが、細部で上手く機能しないなどトラブルの解決に時間を要している。このような積み重ねにより申請時の研究計画からは遅れ気味となっている。

今後の研究の推進方策

2023年度は、2021～2022年度の研究結果で明らかになった自動採点システムの精度を高める方向性、すなわち、低評価レポートとそれ以外を分類して自動採点を行う方法提案し進めた。一方で低評価以外のレポートは自動採点に拘らず、特徴をフィードバックするなどアウトプットの方法を検討している。
研究最終年度である2024年度は、上記のフィードバックの内容を確定する。また先述した研究の遅れにより、ルーブリックにもとづく論理性の自動採点は着手できていない。複数教員の採点結果を教師データとしてパラメーターの微調整を行いながら分類精度を高める方法、あるいはニューラルネットワークを利用して、理論的展開が高低どちらのレベルに分類されるかという確率を基に採点するなど、複数の方法を検討予定である。特に後者については、当初計画していた、畳み込みニューラルネットワーク（CNN）を用いた文章の分類や、CNNにより特徴量を自動的に導き出す方法を参考に、内容や論理性部分の採点の手法を検討し結論をだしたい。これまでの研究から、最終的な自動採点システムとしては、精度が高い部分と改善すべき部分を、ルーブリックと関連付けて示すこととが有効ではないかと考える。

次年度使用額が生じた理由

計画していた国際学会での発表がコロナウィルスの関係等で実施できず、次年度に持ち越したため。