2022 Fiscal Year Research-status Report
ルーブリックに基づくレポート自動採点支援システムの精度向上と教育現場での活用
| Project/Area Number |
18K11589
|
|---|
| Research Institution | Nagoya University of Foreign Studies |
|---|
Principal Investigator |
山本 恵 名古屋外国語大学, 現代国際学部, 教授 (90373175)
|
|---|
| Project Period (FY) |
2018-04-01 – 2024-03-31
|
| Keywords | 自動採点 / ルーブリック / 機械学習 / LDA / 分類 |
|---|
| Outline of Annual Research Achievements |
本研究では、学生・教員双方に役立つレポート自動採点支援システムを構築している。レポート採点用ルーブリックを策定し、各評価項目について自動採点を行う。
2018年度は採点精度の向上を目指して、各評価項目を見直し、特に論作文スキルの評価項目である語彙水準評価値の採点方法の改善に注視した。2019年度は、前年度に提案した語彙水準レベル辞書構築モデルにしたがい、年度内最新の日本語Wikipediaコーパスから当該辞書を再構築し、計算した単語難易度の精度の検証と網羅性に関わる改善を進めた。2020年度は、全年度明らかになった問題に対応するため、自動採点部のルーブリックおよびそれらの計算式の細部を改善した。また大学教員のヒューマンスコアの収集、およびレポート採点用ルーブリックの改善に向けた意見の収集を行った。その結果ある程度共通項を見出すことができた。2021年度は、前年度に続き、教員の手動採点結果を詳細に分析し、評価項目の改善を目指した。採点時にチェックされた改善すべき項目数の合計と、総合得点との相関を求めた結果、高い相関があり、改善すべき点が多いほど得点が低いことは明らかである。したがって評価項目については現行通りで問題はない。しかしながら評価時に重視する項目が教員間で異なり、配点に差異が生じる。特に総合得点が低いレポートは教員間で共通し、高いレポートは違いがあるなどの知見が得られた。
2022年度は、前年度の研究結果を受け、評価値が類似するレポートを分析して特徴を明らかにし、自動採点システムに反映させる試みを行った。特に低評価レポートの採点結果を分析した結果、文書スキル、内容、文書構成などが採点結果を類似に導く特徴量と言えることが分かった。文書構成など自動計算し辛い部分は、蓄積したデータとともにクラスタリングすることで低評価の位置付けができる可能性があり、今後検証を進めたい。
|
| Current Status of Research Progress |
Current Status of Research Progress
4: Progress in research has been delayed.
Reason
2019年度は初年次に続き、辞書の精度を示すための他の手法との比較で、多くの時間を費やすことになった。辞書作成にはトピックモデルを用いている。Wikipediaデータをもとに辞書を作成する際、結果を得るのに数日以上かかり、十分な試行錯誤をするのに期間を要した。2020年度は2019年度に明らかになった問題に対応するため、自動採点部のルーブリックおよびそれらに連動して計算式など細部を改善した。機械学習のためのヒューマンスコアを収集する際、得た情報を分析し、ルーブリックの改善に活かす作業を行った。これは研究開始当初の計画にプラスとなった分析作業である。2021年度にプラスとなった分析作業に多くを費やすこととなった。さらに2020年度より、新型コロナウィルスの影響で研究が遅れ気味である。本研究で扱う学生レポートと採点結果、およびアンケート結果は関連する大学の研究倫理規定に従い利用し、研究を遂行しているものである。人権の保護及び法令等の遵守への対応で述べたようにデータの保管についても研究代表者の研究室で管理するものである。所属大学は2020年度オンライン授業を中心としており、大学入構規制がかかる期間は研究が困難であった。また高速に処理をするためのコンピュータの入手が困難となっている。
2021年度、2022年度はコロナウィルスの影響で学生対応に割く時間が増えた。また昨今はクラウドサービスの利用が増加していることから、これらに変更することを視野にシステムを再考することとした。このような積み重ねにより申請時の研究計画からは遅れ気味となっている。
|
| Strategy for Future Research Activity |
研究最終年度である2023年度は、2021～2022年度の研究結果で明らかになった自動採点システムの精度を高める方向性を検討する。評価が低いレポートは教員間で概ね同じであるため、少なくとも低評価レポートを正確に分類できる可能性が高い。したがって採点項目は現行通りとしつつ重みづけを調整する、あるいは、多くの低評価レポートを学習し分類する方法、各々で精度を比較する。
また、先述した研究の遅れにより、ルーブリックにもとづく論理性の自動採点は着手できていない。複数教員の採点結果を教師データとしてパラメーターの微調整を行いながら分類精度を高める方法、あるいはニューラルネットワークを利用して、理論的展開が高低どちらのレベルに分類されるかという確率を基に採点するなど、複数の方法を検討予定である。特に後者については、当初計画していた、畳み込みニューラルネットワーク（CNN）を用いた文章の分類や、CNNにより特徴量を自動的に導き出す方法を参考に、内容や論理性部分の採点の手法を検討する予定である。これまでの研究から、最終的な自動採点システムとしては、精度が高い部分と改善すべき部分を、ルーブリックと関連付けて示すこととする。
|
| Causes of Carryover |
これまで新型コロナウィルス感染による半導体不足で、購入予定であったワークステーションの納入が未確定のため発注を控え、サーバー契約可能なAWSにシフトして利用してきたため、令和3～4年度はこの予算を使用しなかった。AWSの可能性や料金体系をさらに確認したうえで、AWS契約拡張によるサーバー利用か、ハードウェア購入かを決め、令和5年度に予算を使用する予定である。
|
Research Products
(1 results)
