An Development of automated short-answer scoring system based on deep learning without using supervised scoring data

2022 Fiscal Year Annual Research Report

• Project/Area Number: 20H04300
• Research Institution: The National Center for University Entrance Examinations
• Principal Investigator: 石岡 恒憲 独立行政法人大学入試センター, 研究開発部, 教授 (80311166)
• Co-Investigator(Kenkyū-buntansha): 中川 正樹 東京農工大学, 学内共同利用施設等, 特任教授 (10126295) ; 峯 恒憲 九州大学, システム情報科学研究院, 准教授 (30243851) ; 須鎗 弘樹 千葉大学, 大学院工学研究院, 教授 (70246685) ; 宮澤 芳光 独立行政法人大学入試センター, 研究開発部, 准教授 (70726166)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 自然言語処理 / 自動採点 / 機械学習 / 深層学習 / 手書き文字認識

Outline of Annual Research Achievements

本科研はセンター試験など大学入試レベルの短答式記述試験の自動採点および人間による採点を支援する実用可能なシステムを試作・実装することを目的とする。採点は設問ごとに作題者が用意した「模範解答」と「採点基準」に従いシステムがある程度（90％以上程度）の精度をもった採点計算（自動採点）を行うことを目標とする。
本科研では手書き文字解答から自動採点までを一気通貫で行い、人手を一切用いない方法での性能を評価した。つまり機械にタグ付けのルールを教え込むといった理解の補助輪を一切用いずに、実運用で平均96％、最低でも93％の一致率を確保した。また各問６万件という膨大なデータにより、深層学習に必要な標本サイズにおいても新たな知見を得た。言語モデルには当時の世界最先端であるBERT を用いた。その成果については多くの学会賞（日本計算機統計学会第35回大会, 学生研究発表賞；Duolingo Award for IMPS 2021；SMASH22 Winter Symposium,準優秀賞；言語処理学会第28回年次大会, 若手奨励賞）を受け、また教育工学のトップカンファレンスであるAIED等の国際会議で採択された。日経新聞教育面には2,000字の寄稿が掲載された。
本科研は当初の目的を概ね達成し、今年度（令和5年度）に新規に採択された科研費研究（基盤B）において、その発展的内容を継続して実施している。

Research Progress Status

令和4年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和4年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Optimizing Answer Representation using Metric Learning for Efficient Short Answer Scoring (2023)
  • Author(s): Bo Wang, Billy Dawton, Tsunenori Ishioka and Tsunenori Mine
  • Journal Title: The Pacific Rim International Conference on Artificial Intelligence (PRICAI) Volume: 20th Pages: 236-248
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] Fully automated short answer scoring of the trial tests for common entrance examinations for japanese university (2022)
  • Author(s): Oka, H., Nguyen, H. T., Nguyen, C. T., Nakagawa, M. & Ishioka, T.
  • Journal Title: AIED 2022 Volume: LNCS 13355 Pages: 180-192
  • DOI: 10.1007/978-3-031-11644-5_15
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] Handwriting recognition and automatic scoring for descriptive answers in japanese language tests, International Conference on Frontiers in Handwriting Recognition (2022)
  • Author(s): Nguyen, H.T., Nguyen, C. T., Oka, H., Ishioka, T. & Nakagawa, M.
  • Journal Title: International Conference on Frontiers in Handwriting Recognition, ICFHR 2022 Volume: LNCS 13639 Pages: 274-284
  • Peer Reviewed / Int'l Joint Research
• [Presentation] Automated Short Answer Grading with Rublic-based Semantic Embedding Optimization (2022)
  • Author(s): Wang,B., Ishioka,T., Mine,T.
  • Organizer: SMASH22 Winter Symposium
• [Presentation] Fully automatic scoring of handwritten descriptive answers in Japanese language tests (2022)
  • Author(s): Nguyen, H.T., Nguyen, C. T., Oka, H., Ishioka, T. & Nakagawa, M.
  • Organizer: IEICE technical report, PRMU2021-32, 45-50
• [Presentation] Visual constraints for generating multi-domain offline handwritten mathematical expressions (2022)
  • Author(s): Ung, H. Q., Nguyen, C. T., Oka, H., Ishioka, T. & Nakagawa, M.
  • Organizer: IEICE technical report, PRMU2021-69, 54-59