Differential Testing Techniques Towards Large-scale Deployment of Deep Learning Systems

• Project/Area Number: 19K24348
• Research Category: Grant-in-Aid for Research Activity Start-up
• Allocation Type: Multi-year Fund
• Review Section: 1001:Information science, computer engineering, and related fields
• Research Institution: Kyushu University
• Principal Investigator: 馬 雷 九州大学, システム情報科学研究院, 助教 (70842061)
• Project Period (FY): 2019-08-30 – 2021-03-31
• Project Status: Granted (Fiscal Year 2019)
• Budget Amount: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000); Fiscal Year 2020: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000); Fiscal Year 2019: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
• Keywords: 深層学習システム / 品質保障 / 信頼性 / 差動テスト / 信頼性と安全性 / 深層学習システムの展開

Outline of Research at the Start

深層学習（DL）は、多くの最先端のアプリケーション分野で競争力のある知能と大きな成功を収めてきた。GPU搭載サーバー/クラウドから小型デバイス（携帯電話など）へのDLシステムの導入と適用の需要が急増している。ただし、サーバー/クラウドと小型デバイスの間のDLフレームワーク、プラットフォーム、およびターゲットデバイスのハードウェアの多様性と差異により、DLシステムを小型デバイスに効果的に移行して展開することは非常に困難であり、現在、DLシステムの展開に対して品質保証の手法がまだ欠けている。本研究では、DLシステム展開の品質保証のための自動差動テストフレームワークを構築することが目的としている。

Outline of Annual Research Achievements

深層学習(Deep Learning, DL)は、多くの最先端のアプリケーション分野て競争力のある知能と大きな成功を収めてきた。2017年以来、強力なGPU搭載サーバー/クラウドから小型テバイス（携帯電話など)へのDLシステムの導入と適用の需要か急増している。しかし、 サーバー/クラウトと小型テハイスの間のDLフレームワーク、プラッドフォーム、およひ移動デバイスのハードウェアの多様性と差異により、DLシステムを小型デバイスに効的に移行と展開することは非常に困難てある。現在、DLシステムの展開に対して品質保証の手法かまた欠けている。本研究ては、DLシステム展開の品質保証のための自動差動テストフレームワークを構築することか目的としている。
本研究ではこれまで得られた主な研究成果は以下の通りである。
1)DLシステム展開中の品質関連の問題調査、発見をまとめた。
2)DLシステム展開中の品質を評価するための差動テスト基準を設計した。
3)DLシステム展開中に導入されたソフトウェアの欠陥を検出するための自動差動テストフレームワーク開発の第一段階を完成した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究は当初予期の通り進展している。

Strategy for Future Research Activity

今後の研究の推進方策:
(1) DLシステム展開中に導入されたソフトウェアの欠陥を検出するための自動差動テストフレームワークの開発を完成する。
(2) 自動差動テストフレームワークと複数の設計されたテスト基準を融合する。
(3 )実用的な小型モバイル機器や組込みシステム（モバイルとカメラなど）における提案手法を系統的に評価する。

Research Products

• [Int'l Joint Research] Nanyang Technological University(シンガポール)
• [Int'l Joint Research] UIUC(米国)
• [Int'l Joint Research] Peking University(中国)
• [Journal Article] Machine Learning Testing: Survey, Landscapes and Horizons (2020)
  • Author(s): Zhang Jie M.、Harman Mark、Ma Lei、Liu Yang
  • Journal Title: IEEE Transactions on Software Engineering Volume: 1 Pages: 1-37
  • DOI: 10.1109/tse.2019.2962027
  • Peer Reviewed / Int'l Joint Research
• [Presentation] Generating Adversarial Examples for Holding Robustness of Source Code Processing Models (2020)
  • Author(s): Huangzhao Zhang, Zhuo Li, Ge Li, Lei Ma, Yang Liu, Zhi Jin
  • Organizer: The 34th AAAI Conference on Artificial Intelligence, 8 pages, New York, USA, Feb 7-12, 2020. (AAAI’20, CORE Rank A*)
  • Int'l Joint Research
• [Presentation] Stealthy and Efficient Adversarial Attacks against Deep Reinforcement Learning (2020)
  • Author(s): Jianwen Sun, Tianwei Zhang, Xiaofei Xie, Lei Ma, Yan Zheng, Kangjie Chen, Yang Liu
  • Organizer: The 34th AAAI Conference on Artificial Intelligence, 9 pages, New York, USA, Feb 7-12, 2020. (AAAI’20, CORE Rank A*)
  • Int'l Joint Research
• [Presentation] Towards Characterizing Adversarial Defects of Deep Learning Software from the Lens of Uncertainty (2020)
  • Author(s): Xiyue Zhang, Xiaofei Xie, Lei Ma, Xiaoning Du, Qiang Hu, Yang Liu, Jianjun Zhao, Meng Sun
  • Organizer: The 42nd International Conference on Software Engineering, 12 pages, 23-29 May 2020, Seoul, South Korea (ICSE’20, CORE Rank A*)
  • Int'l Joint Research
• [Presentation] Yan Zheng, Xiaofei Xie, Ting Su, Lei Ma, Jianye Hao, Zhaopeng Meng, Yang Liu, Ruimin Shen, Yinfeng Chen, Changjie Fan (2019)
  • Author(s): Wuji: Automatic Online Combat Game Testing Using Evolutionary Deep Reinforcement Learning
  • Organizer: The 34rd IEEE/ACM International Conference on Automated Software Engineering, pp.772-784, San Diego, California, USA, November 11-15, 2019 (ASE’19, CORE Rank A)
  • Int'l Joint Research
• [Presentation] An Empirical Study towards Characterizing Deep Learning Development and Deployment across Different Frameworks and Platforms (2019)
  • Author(s): Qianyu Guo, Sen Chen, Xiaofei Xie, Lei Ma, Qiang Hu, Hongtao Liu, Yang Liu, Jianjun Zhao, Xiaohong Li
  • Organizer: In Proc. 34th IEEE/ACM Conference on Automated Software Engineering, pp.810-822, San Diego, California, USA, November 11-15, 2019. (ASE’19, CORE Rank A)
  • Int'l Joint Research
• [Presentation] A Quantitative Analysis Framework for Recurrent Neural Network. (2019)
  • Author(s): Xiaoning Du, Xiaofei Xie, Yi Li, Lei Ma, Yang Liu, and Jianjun Zhao
  • Organizer: In Proc. 34th IEEE/ACM Conference on Automated Software Engineering, pp.1062-1065, San Diego, California, USA, November 11-15, 2019. (ASE’19, CORE Rank A)
  • Int'l Joint Research
• [Presentation] Coverage-guided Fuzzing for Feedforward Neural Networks (2019)
  • Author(s): Xiaofei Xie, Hongxu Chen, Yi Li, Lei Ma, Yang Liu, and Jianjun Zhao
  • Organizer: In Proc. 34th IEEE/ACM Conference on Automated Software Engineering, pp.1162-1165, San Diego, California, USA, November 11-15, 2019. (ASE’19, CORE Rank A)
  • Int'l Joint Research
• [Presentation] DeepMutation++: a Mutation Testing Framework for Deep Learning Systems (2019)
  • Author(s): Qiang Hu, Lei Ma, Xiaofei Xie, Bing Yu, Yang Liu, and Jianjun Zhao
  • Organizer: In Proc. 34th IEEE/ACM Conference on Automated Software Engineering, pp.1158-1161, San Diego, California, USA, November 11-15, 2019. (ASE’19, CORE Rank A)
  • Int'l Joint Research
• [Presentation] DeepStellar: Model-Based Quantitative Analysis of Stateful Deep Learning Systems (2019)
  • Author(s): Xiaoning Du, Xiaofei Xie, Yi Li, Lei Ma, Yang Liu and Jianjun Zhao
  • Organizer: The 27th ACM Joint European Software Engineering Conference and Symposium on the Foundations of Software Engineering, pp. 477-487, Tallinn, Estonia, August 2019 (FSE’19, CORE A*)
  • Int'l Joint Research
• [Presentation] Secure Deep Learning Engineering: a Road towards Quality Assurance of Intelligent Systems (2019)
  • Author(s): Yang Liu, Lei Ma, Jianjun Zhao
  • Organizer: The 21st International Conference on Formal Engineering Methods, pp.3-15, ShenZhen, China, Nov. 2019 (ICFEM 2019, CORE Rank B)
  • Int'l Joint Research / Invited
• [Presentation] An Empirical Study of Common Challenges in Developing Deep Learning Applications (2019)
  • Author(s): Tianyi Zhang, Cuiyun Gao, Lei Ma, Michael R. Lyu and Miryung Kim
  • Organizer: The 30th International Symposium on Software Reliability Engineering, 12 pages, Oct. 2019, Berlin, Germany (ISSRE’19, CORE Rank A)
  • Int'l Joint Research
• [Presentation] DeepHunter: A Coverage-Guided Fuzz Testing Framework for Deep Neural Networks (2019)
  • Author(s): Xiaofei Xie, Lei Ma [Corresponding Author], Felix Juefei-Xu, Minhui Xue, Hongxu Chen, Yang Liu, Jianjun Zhao, Bo Li, Jianxiong Yin, Simon See
  • Organizer: The 28th International Symposium on Software Testing and Analysis, pp.146-157, Beijing, China, July 2019 (ISSTA’19, CORE Rank A)
  • Int'l Joint Research