An Development of automated short-answer scoring system based on deep learning without using supervised scoring data

• Project/Area Number: 20H04300
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 62030:Learning support system-related
• Research Institution: The National Center for University Entrance Examinations
• Principal Investigator: 石岡 恒憲 独立行政法人大学入試センター, 研究開発部, 教授 (80311166)
• Co-Investigator(Kenkyū-buntansha): 中川 正樹 東京農工大学, 学内共同利用施設等, 特任教授 (10126295) ; 峯 恒憲 九州大学, システム情報科学研究院, 准教授 (30243851) ; 須鎗 弘樹 千葉大学, 大学院工学研究院, 教授 (70246685) ; 宮澤 芳光 独立行政法人大学入試センター, 研究開発部, 助教 (70726166)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Project Status: Granted (Fiscal Year 2021)
• Budget Amount: ¥16,120,000 (Direct Cost: ¥12,400,000、Indirect Cost: ¥3,720,000); Fiscal Year 2022: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000); Fiscal Year 2021: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000); Fiscal Year 2020: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000)
• Keywords: 自動採点 / 自然言語処理 / 機械学習 / 深層学習

Outline of Research at the Start

センター試験など大学入試試験レベルの短答式記述試験の自動採点および人間による採点を支援する実用可能なシステムを試作・実装する。採点は設問ごとに作題者が用意した「模範解答」と「採点基準」に従いシステムがある程度の精度をもった採点計算（自動採点）を行うことを基本とし、その結果を人間が確認・修正できるものとする。このシステムの最大の特徴は「（予め用意された）模範解答」と「（被験者の実際の）記述解答」との意味的同一性や含意性の判定に採点済みの教師データを使わないことにある。予め別に用意された新聞や教科書、Wikipediaなど別のコーパスなどから自動構築した言語モデルによって判定を行う。