Research on whiteboxing deep learning

2022 Fiscal Year Final Research Report

• Project/Area Number: 18H04106
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 61:Human informatics and related fields
• Research Institution: The University of Tokyo
• Principal Investigator: Okada Masato 東京大学, 大学院新領域創成科学研究科, 教授 (90233345)
• Co-Investigator(Kenkyū-buntansha): 永田 賢二 国立研究開発法人物質・材料研究機構, 統合型材料開発・情報基盤部門, 主任研究員 (10556062) ; 楽 詠コウ 青山学院大学, 理工学部, 准教授 (30612923) ; 庄野 逸 電気通信大学, 大学院情報理工学研究科, 教授 (50263231)
• Project Period (FY): 2018-04-01 – 2023-03-31
• Keywords: ディープラーニング / ニューラルネット / 機械学習 / ホワイトボックス化

Outline of Final Research Achievements

The most serious problem of deep learning (DL) is that its functionality is a black box. In this research project, we develop an informatics and mathematical framework to elucidate the behavior of DL and a data-driven approach to complement it. As for the mathematical framework, we have shown that the plateau phenomenon originating from singular regions can be reduced or eliminated by using a statistical mechanics formulation. In the data-driven approach, we have achieved some results by comparing the input responses of two CNNs using transfer learning and data expansion, and by analyzing the continuity of representations in the brain cortex as a method to improve prediction performance, especially under the limitation of a small data set.

Free Research Field

人工知能

Academic Significance and Societal Importance of the Research Achievements

ディープラーニング (DL)の最も大きな問題点は，その機能がブラックボックス化していることである．本研究課題では，DLの挙動を解明する情報数理学的枠組みの構築と，それを補完するデータ駆動型アプローチを構築した．本研究では，まず情報統計力学，統計神経力学，特異統計学など第二次ニューロブームを契機に発展した情報数理的な枠組みを，現状のDLに適用する．．さらに，解析的取り扱いができないDLに対しその際には，解析的結果が得られているDLに対しても，データ駆動型アプローチで取り扱い，解析的アプローチとデータ駆動型アプローチを融合した．