2022 Fiscal Year Annual Research Report
Generation of Orthogonal Sub-spaces for Efficient Learning in Layered Neural Networks with Asymmetric Structures
| Project/Area Number |
20K11957
|
|---|
| Research Institution | Advanced Institute of Industrial Technology |
|---|
Principal Investigator |
石井 直宏 東京都立産業技術大学院大学, 産業技術研究科, 研究員 (50004619)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小田切 和也 椙山女学園大学, 文化情報学部, 教授 (30449491)
松尾 徳朗 東京都立産業技術大学院大学, 産業技術研究科, 教授 (80433142)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 非対称構造ネットワーク / Bio-inspired network / 非対称、非線形構造 / 直交基底の生成 / 高次直交基底の生成 / 多層構造の高次基底の生成 |
|---|
| Outline of Annual Research Achievements |
本課題の非対称構造の多層ニューラルネットワークの研究は、課題の研究者がNewYork 大学の故Prof.Naka 教授との共同研究のcatfishの網膜の研究で得られた結果をベースにしたBio-inspired neural networkの研究を進めた。非対称ニューラルネットワークによる直交部分空間の生成の問題を取り上げ、ネットワークの特徴づけとその機能について、明らかにしてきた。この非対称回路はcatfishの網膜の構造と機能を中心にして、展開してきた。非対称構造のネットワークは構造の非対称と非線形作用により、直交部分空間を生成することを明らかにしてきた。具体的には、視覚系での直交部分空間では非対称構造とRectifi-cationなどの非線形処理が大きく関わる。この二つの特徴が直交部分空間の直交基底を生成することを示した。これらの基底は、ベクトル空間での独立性を構成するため、classifi-cation の処理に大きく寄与する。初めに、これらの基底の寄与として、特徴空間での入力に対するトラッキング特性の解析を行った。このトラッキング特性が非対称ニューラルネットワークで優れており、従来のガボールフィルタを持った対称モデル（Energy modelと呼ばれる）に比べ、優れていることを示した。さらに、非対称構造のネットワークが対象モデルに比べ、classification performanceが優れていることをベクトル空間上で、証明した。さらに多層のニューラルネットワークにより、高次の次元の直交基底が、低層の基底から構成できることにより、高次の直交基底の生成問題を取り上げた。この高次元の基底は、indepenndence処理に有効であり、置き換えなどの操作から、多層のニューラルネットワークでの高次処理が可能となることを取り上げた。
|
