Benchmark set of buggy programs for the evaluation of debug techniques and tools

2018 Fiscal Year Final Research Report

• Project/Area Number: 15K00091
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Software
• Research Institution: The University of Electro-Communications
• Principal Investigator: Terada Minoru 電気通信大学, 大学院情報理工学研究科, 准教授 (80163921)
• Project Period (FY): 2015-10-21 – 2019-03-31
• Keywords: デバッグ

Outline of Final Research Achievements

The research aims at the creation of a benchmark set of "buggy" programs to evaluate various debug techniques and tools.
I apply random mutations to a correct program to get a code, which is filtered by the score for test inputs.I tried this method for various programs, including sorting, list processing and recursive program. The resulting codes behave correctly for most inputs but still include subtle bugs. The set may be usable for education purposes.

Free Research Field

情報工学

Academic Significance and Societal Importance of the Research Achievements

提案した手法により、手続き型のプログラムを対象として、アプリケーションの特性や環境に依存しないバグ入りプログラムのセットを自動生成することができた。今回は「正答率の高さ」を選択尺度としたが、尺度の設定により多様なバグが生成できる。
これらは当初の目的であるデバッグ手法の評価に有用であるばかりでなく、プログラミング教育におけるデバッグ技術の習得、プログラム理解支援、視覚化の題材としても利用可能である。