On Dataset Diversity for Achiving High Reliability of Machine Learning Software

2021 Fiscal Year Final Research Report

• Project/Area Number: 18H03224
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 60050:Software-related
• Research Institution: National Institute of Informatics
• Principal Investigator: Nakajima Shin 国立情報学研究所, 大学共同利用機関等の部局等, 名誉教授 (60350211)
• Project Period (FY): 2018-04-01 – 2021-03-31
• Keywords: ソフトウェア工学 / ソフトウェア・テスティング / ニューラル・ネットワーク / ディペンダビリティ

Outline of Final Research Achievements

We proposed a new metamorphic testing method applicable to checking the correctness of machine learning programs constituting the core mechanism of machine learning frameworks. The contributions include a test generation method employing the notion of semantic noises, metamorphic relations referring to active neuron states, and a testing framework to combine the statistical hypothesis testing method and the metamorphic testing.

Free Research Field

ソフトウェア

Academic Significance and Societal Importance of the Research Achievements

深層ニューラルネットワークの技術は高度な信頼性を求められるシステムに応用され、不具合が生じると社会的な影響が大きいことから、品質評価方法の確立が求められている。学樹的には、セマンティックノイズによるデータセット多様性というアイデアから、メタモルフィック・テスティングを深層ニューラルネットワーク訓練学習基盤の検査に応用する方法を示したことである。