Generation of Orthogonal Sub-spaces for Efficient Learning in Layered Neural Networks with Asymmetric Structures

2022 Fiscal Year Final Research Report

• Project/Area Number: 20K11957
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related
• Research Institution: Advanced Institute of Industrial Technology
• Principal Investigator: Ishii Naohiro 東京都立産業技術大学院大学, 産業技術研究科, 研究員 (50004619)
• Co-Investigator(Kenkyū-buntansha): 小田切 和也 椙山女学園大学, 文化情報学部, 教授 (30449491) ; 松尾 徳朗 東京都立産業技術大学院大学, 産業技術研究科, 教授 (80433142)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 非対称構造ネットワーク / Bio-inspired network / 非対称、非線形構造 / 直交基底の生成 / 高次直交基底の生成 / 多層構造の基底の生成

Outline of Final Research Achievements

In the orthogonal subspace of the visual system, nonlinear processing such as asymmetric structure and rectification is closely related. These two characteristics have been shown to generate orthogonal bases in the orthogonal subspace. We analyzed the tracking characteristics. This characteristic was shown to be superior to that of a symmetric model (called an Energy model) with conventional Gabor filters in an asymmetric neural network. Furthermore, it was proved on a vector space that the network with asymmetric structure has better classification ability than the target model. In addition, we took up the problem of generating higher-order orthogonal bases by multi-layer neural networks from lower-order bases.”

Free Research Field

知識情報処理

Academic Significance and Societal Importance of the Research Achievements

ニューラルネットワークの人工知能分野での適用が深層学習を中心として、大きく、進展している。しかし、深層のニューラルネットワークの処理のメカニズムの解明が十分でなく、ラックボックスでの処理として、残されている問題点も少なくない。そこで、本研究課題は明らかにしてきた生物の視覚神経系ネットワークをベースに、理解、説明可能な層状ネットワークの構成とその処理機構を明らかにして、深層学習のメカニズムの機能の基礎を明らかにすることである。