Differential Testing Techniques Towards Large-scale Deployment of Deep Learning Systems

2020 Fiscal Year Final Research Report

• Project/Area Number: 19K24348
• Research Category: Grant-in-Aid for Research Activity Start-up
• Allocation Type: Multi-year Fund
• Review Section: 1001:Information science, computer engineering, and related fields
• Research Institution: Kyushu University
• Principal Investigator: MA LEI 九州大学, システム情報科学研究院, 学術研究員 (70842061)
• Project Period (FY): 2019-08-30 – 2021-03-31
• Keywords: 差動テスト / 信頼性と安全性 / 深層学習システム / 深層学習システムの展開 / テスト基準

Outline of Final Research Achievements

In this project, we successfully completed the planned research tasks in original research proposal.(1)At an early stage, we made a comprehensive survey to better understand the concrete challenges of deep learning(DL) development and deployment. We found that there are indeed lots of issues causing the deployment quality issues of DL systems.(2)Based on this, we propose multiple differential testing criteria from the uncertainty perspective. We further proposed a differential testing framework named DiffChaser to systematically detect the buggy behavior of DL deployment. We performed systematic evaluations on diverse DL deployment scenarios and found our proposed methods are effective.(3)Furthermore, we conducted in-depth studies on the behavior analysis methods of DL from uncertainty and data distribution perspective with promising results. The results of this project set important foundations on quality assurance of DL deployment for further research and industry applications.

Free Research Field

ソフトウェア工学、機械学習工学

Academic Significance and Societal Importance of the Research Achievements

近年、小型デバイスを目標としたAIチップの急速な進歩は、DLのパワーを小型デバイスにもたらす新たな機会をもたらした。しかし、DLシステムの品質保証技術に関する研究はまだ初期段階である。本研究では、DLの展開段階から多様な小型デバイスへの関連テスト基準、差分テストフレームワーク、および品質向上技術を構築し、重要だが欠けている部分を埋める。高品質のDL手法で小型デバイスを強化することで、応用の範囲がさらに拡大され、知能システムの恩恵が世界中のあらゆる社会にもたらされる。本研究の成果がDLシステム展開のための品質保証を提供し、将来の知能社会の発展を加速するための基盤と応用を築くことが期待される。