| 研究課題/領域番号 |
18K11589
|
|---|
| 研究機関 | 名古屋外国語大学 |
|---|
研究代表者 |
山本 恵 名古屋外国語大学, 現代国際学部, 教授 (90373175)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2022-03-31
|
| キーワード | 自動採点 / ルーブリック / LDA / 機械学習 |
|---|
| 研究実績の概要 |
本研究では、授業形式の教育現場での活用を視野に、学生・教員双方に役立つレポート自動採点支援システムを構築している。レポート採点用ルーブリックを策定し、各評価項目について自動採点を行う。
2018年度は採点精度の向上を目指して、各評価項目を見直し、特に論作文スキルの評価項目である語彙水準評価値の採点方法の改善に注視した。
2019年度は、前年度に提案した語彙水準レベル辞書構築モデルにしたがい、年度内最新の日本語Wikipediaコーパスから当該辞書を再構築し、計算した単語難易度の精度の検証と網羅性に関わる改善を進めた。
2020年度は、さらに採点精度を上げるためのもう一つの試みとして、大学教育の現場で採点を行っている教員のヒューマンスコアの収集、およびレポート採点用ルーブリックの改善に向けた意見の収集を行った。策定したレポート採点用ルーブリックに基づいて、小レポート42件、長文レポート25件の採点を複数教員に依頼した。ルーブリックに関する意見については、5つの評価観点（Content/Structure/Evidence/Style/Skill）に関する異論はなかったが、達成レベルと配点や、評価観点を細分化した評価項目（自動採点の計算式の基盤）の考え方に異論や提案があり、ルーブリックに一部反映し、Styleの自動採点計算方法を改善したところである。また収集したヒューマンスコアを教師データとして投入し機械学習による成績の分類精度を高めるべく、試行した結果、2%分類精度を高めることができた。改善したルーブリックで教師データをさらに収集し投入することで、精度が高まる可能性を示唆している。Structure/Evidenceのヒューマンスコアは、教員ごとに注視する点が異なること、共通項を見出して分類項目の1つとして入れることで、精度を高める可能性があることが分かった。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
4: 遅れている
理由
2019年度は初年次に続き、辞書の精度を示すための他の手法との比較で、多くの時間を費やすことになった。
2020年度は2019年度に明らかになった問題に対応するため、自動採点部のルーブリックおよびそれらに連動して計算式など細部を改善した。機械学習のためのヒューマンスコアを収集する際、得た情報を分析し、ルーブリックの改善に活かす作業を行った。これは研究開始当初の計画にプラスとなった分析作業である。
また、内容や論理性の採点部の評価方法の検討については、2020年度に課題として引き継いでいたが、新型コロナウィルスの影響で研究が遅れ気味である。本研究で扱う学生レポートと採点結果、およびアンケート結果は関連する大学の研究倫理規定に従い利用し、研究を遂行しているものである。人権の保護及び法令等の遵守への対応で述べたようにデータの保管についても研究代表者の研究室で管理するものである。所属大学は2020年度オンライン授業を中心としており、大学入構規制がかかる期間は研究が困難であった。また高速に処理をするためのコンピュータの入手が困難となっている。
したがって2021年度に課題として引き継ぐ研究内容がいくつか残っており、申請時の研究計画からは遅れ気味となる。
|
| 今後の研究の推進方策 |
研究4年目である2021年度は、2020年度に実施予定であったレポートの記述内容や論理性の評価に踏み込んだ採点を行い、精度の向上を目指す。
記述内容の自動採点については、現在、検討を重ねている。現段階では当初から用いている現行のコサイン類似度が試行した中では信頼できる結果となっている。そこで2020年度に収集したヒューマンスコアを用いた機械学習による分類を試行し検証を試みる。
先述した研究の遅れにより、論理性の自動採点は着手できていない。論作文スキルや読みやすさの自動採点結果から分類しスコアを予測しているが、内容の評価と同様、複数教員の採点結果を教師データとしてパラメーターの微調整を行いながら分類精度を高める方法、あるいはニューラルネットワークを利用して、理論的展開が高低どちらのレベルに分類されるかという確率を基に採点するなど、複数の方法を検討予定である。特に後者については高速に処理が可能なコンピュータを入手し、当初計画していた、畳み込みニューラルネットワーク（CNN）を用いた文章の分類や、CNNにより特徴量を自動的に導き出す方法を参考に、内容や論理性部分の採点の手法を検討する予定である。以上のように、内容や論理性部分の自動採点方法の有効な手法を提案したい。
|
| 次年度使用額が生じた理由 |
ヒューマンスコアや、Wikipediaなど複数の大容量コーパスを学習しモデル化するために、処理用ワークステーションを設置する。2020年度は入手困難で購入に至っていない。
|
