A Deep Neural Network Internal Operation Visualization System

2021 Fiscal Year Final Research Report

• Project/Area Number: 19K03046
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 09070:Educational technology-related
• Research Institution: Ishikawa National College of Technology
• Principal Investigator: Kanedera Noboru 石川工業高等専門学校, 電子情報工学科, 教授 (50194931)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: 深層ニューラルネットワーク / 可視化 / 音声認識 / 画像認識

Outline of Final Research Achievements

With the aim of fostering human resources who can correctly understand and utilize DNNs, we developed and released a system to visualize the internal processing of deep neural networks. In this study, we developed a method to identify important inputs that serve as the basis for discrimination by using the variation of the partial derivative of the network output with the input as an indicator. We confirmed that this index is effective for large-scale neural networks. We also applied our method to a speech recognition deep neural network and compared the knowledge of acoustics with the knowledge automatically determined to be important for the identification of each phoneme, and the validity of our method was demonstrated.

Free Research Field

音声情報処理

Academic Significance and Societal Importance of the Research Achievements

深層ニューラルネットワーク(DNN)を用いることにより，音声認識や画像認識などで高い認識性能を実現できるようになってきた。また災害予測など様々な分野での応用が急速に進んでいる。しかし，ネットワーク内部で何を根拠に判別しているかが不明であるため，判別結果に対する不安が懸念されている。DNN利用例が急増する中で，DNN内部で何が行われているかを正しく理解するためのシステムを開発・公開することは，技術者はもちろん利用する国民にとっても極めて重要である。