Automated Testing of Deep Learning Systems

2022 Fiscal Year Final Research Report

• Project/Area Number: 19H04086
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 60050:Software-related
• Research Institution: Kyushu University
• Principal Investigator: Zhao Jianjun 九州大学, システム情報科学研究院, 教授 (20299580)
• Co-Investigator(Kenkyū-buntansha): 鵜林 尚靖 九州大学, システム情報科学研究院, 教授 (80372762) ; 亀井 靖高 九州大学, システム情報科学研究院, 准教授 (10610222) ; 馮 尭楷 九州大学, システム情報科学研究院, 助教 (60363389) ; 馬 雷 九州大学, システム情報科学研究院, 准教授 (70842061)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: ソフトウエアテスト / 深層学習システム / 安全性と信頼性

Outline of Final Research Achievements

In this research, our objective is to establish systematic automated testing techniques for deep learning systems. The specific research accomplishments are as follows: (1) We designed and developed comprehensive test coverage criteria for deep learning systems.(2) We constructed a framework for the automatic test generation of defects in deep learning systems.(3) We developed techniques for automated defect correction and performance improvement in deep learning systems.(4) We validated the effectiveness of the proposed methods by applying them to practical deep learning systems.

The progress of this research is expected to lead to the establishment of systematic automated testing techniques and supporting environments for deep learning systems, thereby enabling the construction of reliable deep learning systems.

Free Research Field

ソフトウエア工学

Academic Significance and Societal Importance of the Research Achievements

【学術意義】本研究では、深層学習システムのテストカバレッジ基準設計、不具合の自動テスト生成フレームワーク構築、不具合の自動修正と性能向上技術の開発を行った。提案手法は実用的なシステムへの適用によって検証され、深層学習システムの評価と検証手段の整備に貢献した。

【社会意義】本研究の進展により、深層学習システムにおける系統的な自動テスト技術と支援環境が整備され、信頼性の高いシステム構築が期待される。これにより、深層学習技術は医療、交通、金融など多様な領域において高品質かつ安全なシステムとして社会にポジティブな影響を与えることが期待される。