2019 Fiscal Year Final Research Report

AI-based Japanese Short-answer Scoring and Support System

Research Project

PDF

Project/Area Number	17H01843
Research Category	Grant-in-Aid for Scientific Research (B)
Allocation Type	Single-year Grants
Section	一般
Research Field	Learning support system
Research Institution	The National Center for University Entrance Examinations
Principal Investigator	Ishioka Tsunenori 独立行政法人大学入試センター, 研究開発部, 教授 (80311166)
Co-Investigator(Kenkyū-buntansha)	峯恒憲九州大学, システム情報科学研究院, 准教授 (30243851) 宮澤芳光独立行政法人大学入試センター, 研究開発部, 助教 (70726166) 橋本貴充独立行政法人大学入試センター, 研究開発部, 准教授 (20399489)
Project Period (FY)	2017-04-01 – 2020-03-31
Keywords	自動採点 / 自然言語処理 / 機械学習 / 深層学習 / 情報システム
Outline of Final Research Achievements	We have developed a short answer scoring and support system. To evaluate the performance of the scoring engine, we participated in the task-answering international research meeting NTCIR-13 organized by the National Institute of Informatics, and won the top performer alongside Yokohama National University among the 11 participating research institutes around the world in the question-answering sub-task. The challenge of the competition is the automatic scoring of the 500-character essay examination in the world history of the University of Tokyo Second Examination for the past five years. The results were shown in WI 2007, one of the top international conferences. After that, we worked together with Kyushu University to improve system performance. We devised a stream-type language model called Long Short-term Memory (LSTM) to improve learning accuracy. The result was announced at the joint agent workshop & symposium (JAWS2019), which is well known in Japan.
Free Research Field	情報数理
Academic Significance and Societal Importance of the Research Achievements	記述式テストはいままでの多肢選択テストに比べ、より正統あるいは真正で信頼できると広く考えられており、採点のための技術的な課題が克服されてさえいれば、これを使う潜在的な需要は計りしれない。本研究ではセンター試験など大学入試試験レベルの短答式記述試験の自動採点および人間による採点を支援する実用可能なシステムを試作・実装する。この研究は文部科学省の高大接続部会・最終答申にある「採点業務の効率・安定化のためにコンピュータの効果的な活用」や「人工知能の利用」に位置づけられる、重要かつ極めて緊急性の高い課題である。試作システムは最先端の技術を実装し、人工知能の活用の名に値するといってよい。