Automatic generation of programming questions by symbolic execution

2022 Fiscal Year Final Research Report

• Project/Area Number: 20K12106
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 62030:Learning support system-related
• Research Institution: The University of Tokyo
• Principal Investigator: Hagiya Masami 東京大学, Beyond AI 研究推進機構, 特任研究員 (30156252)
• Co-Investigator(Kenkyū-buntansha): 田辺 良則 鶴見大学, 文学部, 教授 (60443199) ; 斎藤 俊則 星槎大学, 大学院教育実践研究科, 准教授 (80434447)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: プログラミング教育 / 情報教育 / プログラミング言語 / 記号実行 / 定理証明 / 仕様記述・検証 / ソフトウェアテスト

Outline of Final Research Achievements

We have established an automatic scoring method for programming examinations for beginners and have designed and implemented a prototype system for conducting examinations based on this method. In the existing method, a wrong answer may be misjudged as a correct answer. In the proposed method, a wrong answer in a specific range of problems including those for beginners is always judged as incorrect. In the designed system, the examinee combines blocks to build a program, and the questioner can control the difficulty level by adjusting the granularity of the block parts.

Free Research Field

プログラミング教育

Academic Significance and Societal Importance of the Research Achievements

プログラミング教育の重要性は広く認知されており，大学入学共通テストでも，プログラミングをその内容として含む教科「情報」が加えられた．本研究で確立した手法は，答案として提出されたプログラムを自動的に誤りなく採点するという特長を有しており，このような大量の答案を短期間に採点する試験に適する性格を持っている．今後，機能面などでさらなる改良を加えることで，実用性を高めることが可能である．