Generation of Orthogonal Sub-spaces for Efficient Learning in Layered Neural Networks with Asymmetric Structures
| Project/Area Number |
20K11957
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Advanced Institute of Industrial Technology |
|---|
Principal Investigator |
Ishii Naohiro 東京都立産業技術大学院大学, 産業技術研究科, 研究員 (50004619)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小田切 和也 椙山女学園大学, 文化情報学部, 教授 (30449491)
松尾 徳朗 東京都立産業技術大学院大学, 産業技術研究科, 教授 (80433142)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2020: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | 非対称構造ネットワーク / Bio-inspired network / 非対称、非線形構造 / 直交基底の生成 / 高次直交基底の生成 / 多層構造の基底の生成 / 多層構造の高次基底の生成 / Bio-inspired ネットワーク / 直交部分空間の生成 / 非線形機能の空間生成 / 特徴空間でのトラッキング / 非対称構造の多層ネットワーク / 非対称構造のニューラルネット / Gabor filter / 選択的直交空間の生成 / 層状サブネットワークの構成 / 独立サブネットワークの設計 / 非対称構造でのGabor filter / 直交空間での特徴と学習 / 多層ニューラルネットの直交変換 |
|---|
| Outline of Research at the Start |
非対称構造を持つニューラルネットが適応性を持つ選択的直交空間の生成に寄与することを明らかにする。すでに、入力刺激の強度変化のある刺激に対して、ガボールフィルタを持つ非対称構造のネットワークの高い適応性を持つ直交化空間を実現できることを示した。われわれの研究では２次の非線形性を有する従来のEnergy modelの対称構造のネットワークよりも、非対称構造のネットワークが優れた方位選択性の能力のあることを示してきたが、さらに、直交空間の生成から局在性、スケール選択性、学習効率性・信頼性を向上した多層ネットの高い機能を持つ空間となることを明らかにする。
|
| Outline of Final Research Achievements |
In the orthogonal subspace of the visual system, nonlinear processing such as asymmetric structure and rectification is closely related. These two characteristics have been shown to generate orthogonal bases in the orthogonal subspace. We analyzed the tracking characteristics. This characteristic was shown to be superior to that of a symmetric model (called an Energy model) with conventional Gabor filters in an asymmetric neural network. Furthermore, it was proved on a vector space that the network with asymmetric structure has better classification ability than the target model. In addition, we took up the problem of generating higher-order orthogonal bases by multi-layer neural networks from lower-order bases.”
|
| Academic Significance and Societal Importance of the Research Achievements |
ニューラルネットワークの人工知能分野での適用が深層学習を中心として、大きく、進展している。しかし、深層のニューラルネットワークの処理のメカニズムの解明が十分でなく、ラックボックスでの処理として、残されている問題点も少なくない。そこで、本研究課題は明らかにしてきた生物の視覚神経系ネットワークをベースに、理解、説明可能な層状ネットワークの構成とその処理機構を明らかにして、深層学習のメカニズムの機能の基礎を明らかにすることである。
|
Report
(4 results)
Research Products
(12 results)
