| 研究課題/領域番号 |
18K11589
|
|---|
| 研究機関 | 名古屋外国語大学 |
|---|
研究代表者 |
山本 恵 名古屋外国語大学, 現代国際学部, 教授 (90373175)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2022-03-31
|
| キーワード | 自動採点 / ルーブリック / LDA / 機械学習 |
|---|
| 研究実績の概要 |
本研究では、授業形式の教育現場での活用を視野に、学生・教員双方に役立つレポート自動採点支援システムを構築している。レポート採点用ルーブリックを策定し、各評価項目について自動採点を行う。2018年度は採点精度の向上を目指して、各評価項目を見直し、特に論作文スキルの評価項目である語彙水準評価値の採点方法の改善に注視した。
2019年度は、前年度に提案した語彙水準レベル辞書構築モデルにしたがい、年度内最新の日本語Wikipediaコーパスから辞書を再構築し、単語難易度の精度の検証と網羅性の改善を進めた。本辞書は、もととなるコーパスにトピックモデル（潜在ディレクレ配分法：LDA）を適用して求めた出現確率と単語重要度TF-IDF値を指標として、各単語の難易度を算出し表形式のデータでシステム内に格納するものである。難易度の精度の検証では、既存の日本語教育語彙表の語彙の難易度1～6に対する線形判別分析により評価実験を行った。その結果、提案手法であるLDAとTF-IDFの組み合わせが最も高い判別率を得ることができた。また網羅性の改善として、流行語などの新語や造語に対応するため、MeCabのユーザー辞書として、はてなキーワードとNeologdを追加している。
さらに採点精度を上げるためのもう一つの試みとして、大学教育の現場で採点を行っている教員のヒューマンスコアの収集、およびレポート採点用ルーブリックの改善に向けた意見の収集を行った。策定したレポート採点用ルーブリックに基づいて、小レポート42件、長文レポート25件の採点を複数教員に依頼した。結果を教師データとして投入し、機械学習による成績の分類精度を高めるべく、試行している。またルーブリックに関する意見を集計し、改善案をまとめているところである。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
2019年度は初年次に続き、辞書の精度を示すための他の手法との比較で、多くの時間を費やすことになった。また採点精度の向上を目指して計算式など細部を見直す中で、新たな検討事項として、自動採点部のルーブリックの見直しの必要性が示唆された。現在のルーブリックは、先行研究調査やアメリカのバリュールーブリックをもとに慎重な検討を重ねて作成したものであるが、大学教育の現場の教員によるレポート評価の実態を調査することで、さらに計算方法の改善を見込むことができると考えた。そこで、データ収集のための準備と教員への説明やヒヤリング等に時間を費やすことになった。
また、内容や論理性の採点部の評価方法の検討については、現段階で有用な方法を特定できていない。2020年度に課題として引き継ぐことから、申請時の研究計画からは遅れ気味となる。
|
| 今後の研究の推進方策 |
研究3年目である2020年度は、2019年度に収集した複数教員による採点結果とルーブリックについての意見を、自動採点用ルーブリックの計算式に反映し、採点精度向上を目指す。昨年度のヒヤリングの結果、評価観点のひとつエビデンスについては、レポートの長さにより評価式（採点のための計算式）を変更すべきであることが明らかになった。この点について対応を行う。
またレポートの記述内容や論理性の評価に踏み込んだ採点を行い、精度の向上を目指す。
記述内容の自動採点については、現在、ルーブリックの評価観点「Content:課題の理解度と解答(記述)内容の妥当性」として、教員が提示した論題と記述文のコサイン類似度を求め、値が高い程、配点を高くしている。しかし論題が短い、あるいは情報が少ない場合は、高い採点精度を見込むことは困難である。そこで他の情報、具体的には、シラバスの文書ベクトルとの類似度により採点を試みたが、特筆すべき結果は得られず、現行のコサイン類似度の方が信頼できる結果となった。引き続き、他の方法で検証を試みる。
現在、論理性の自動採点は行っておらず、論作文スキルや読みやすさの自動採点結果から分類しスコアを予測している。そこで、2019年度に収集した複数教員の採点結果を教師データとしてパラメーターの微調整を行いながら分類精度を高める方法、あるいはニューラルネットワークを利用して、理論的展開が高低どちらのレベルに分類されるかという確率を基に採点するなど、複数の方法を検討予定である。
以上のように、評価項目について細部まで検討を重ね、引き続き、精度向上を目指す。
|
| 次年度使用額が生じた理由 |
2019年度は、教員に研究協力を依頼し、レポートのヒューマンスコアデータを収集し、システムの精度を上げる研究を中心に行ったため、システム構築の備品経費が発生しなかった。このため、Deep Learningの処理や語彙水準辞書再構築作業に向けたワークステーションの購入を次年度に送ることになった。
また現在AWSはプログラム開発中心に利用しているが、次年度以降はサーバーの一部の機能をAWSに移行してテストする予定であり、利用料金が高額となる可能性がある。
|
