2021 Fiscal Year Research-status Report
Generation of Orthogonal Sub-spaces for Efficient Learning in Layered Neural Networks with Asymmetric Structures
| Project/Area Number |
20K11957
|
|---|
| Research Institution | Advanced Institute of Industrial Technology |
|---|
Principal Investigator |
石井 直宏 東京都立産業技術大学院大学, 産業技術研究科, 研究員 (50004619)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小田切 和也 椙山女学園大学, 文化情報学部, 教授 (30449491)
松尾 徳朗 東京都立産業技術大学院大学, 産業技術研究科, 教授 (80433142)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | Bio-inspired ネットワーク / 非対称構造ネットワーク / 直交部分空間の生成 / 非線形機能の空間生成 / 特徴空間でのトラッキング / 非対称構造の多層ネットワーク |
|---|
| Outline of Annual Research Achievements |
今まで、Bio-inspired neural networkの研究として、非対称ニューラルネットワークによる直交部分空間の生成の問題を取り上げ、ネットワークの特徴づけとその機能について、明らかにしてきた。この非対称回路による直交部分空間の生成はcatfishの網膜の構造と機能に研究のベースとして、展開してきた。非対称構造のネットワークは構造の非対称と非線形作用により、直交部分空間を生成することを明らかにしてきた。具体的には、視覚系での直交部分空間では非対称構造とRectificationなどの非線形処理が大きく関わる。この二つの特徴が直交部分空間の直交基底を生成することを示した。この直交基底はネットワークの機能を有効に引き上げることを二つの機能で、明らかにした。初めに、入力が処理される、特徴空間で入力のトラッキング特性の解析を行った。このトラッキング特性が非対称ニューラルネットワークで優れており、従来のガボールフィルタを持った対称モデル（Energy modelと呼ばれる）に比べ、優れていることを示した。さらに、特徴空間でのclassificationの能力を検討した。Catfishのアマクリン細胞のインパルス特徴を取り入れることにより、機能性が大きくなることをXOR問題で示した。さらに、非対称構造を持つ多層ネットワークを構成して直交部分空間でのclassificationの能力を調べるために、Real world問題に適用した。ここでは、Reuters データ集合のクラス分類を行い、良好な結果を得た。さらに、非対称ネットワークの多層構造でのオペレーションを説明できる機能を課題とした。ここでも、直交部分空間の機能が大きな役割を果たすことを示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
非対称構造のネットワークの特性およびその機能について研究してきた。このネットワークのベースは生物系のCatfishの網膜の構造に研究の端を発しているが、これが、従来の研究結果から、大脳の視覚皮質でも、さらに非対称性を展開した構造を示すことから、ニューラルネットワークの機能面からも、意味のあることである。この非対称構造ネットワークによる直交部分空間の生成と機能などで、従来手法の対称性を持つネットワークと比べて、新しい意味のある結果を示してきた。しかし、まだ、検討中の課題を抱えている。それは、非対称構造の多層のネットワークの直交部分空間での学習の効率化の研究について、まだ、十分な結果が示されていない。現時点でも、直交部分空間の層状の変換の問題に置き換えて、この学習問題について、引き続き研究を進めている。
|
| Strategy for Future Research Activity |
非対称構造のネットワークは従来手法の対称ネットワークと比較して、優れた機能を有しており、本来の生物系のニューラルネットワークの機能を反映する構造となっている。残された非対称構造の多層ネットワークでの直交部分空間の層状での変換が効率的な学習機能を生成すことが期待される。すなわち、直交空間は記憶、学習のプロセスにおいても、情報処理の効率化の観点から、大いに期待できる性質を有している。ここでの直交部分空間の変換機能と学習機能との関連機能の性質を明らかにしたく、さらに、掘り下げていきたい。
|
| Causes of Carryover |
本研究課題では、数回の国際会議での研究成果の発表のため、予算を計上しておりましたが
コロナのため、オンライン会議、実会議＋オンライン会議などへの変更などのため、国外への渡航を取りやめました。これに代わり、国際会議の登録費用もやや高めになり、その他の費用が多くなりました。本研究課題での多層化ネットワークの直交空間での学習処理のためには、高速でメモリーの大きめなワークステーションが必要になりました。（これは従来手法のDeep Leaningの処理での高速、メモリー大の必要性と同じです)。
本研究課題の非対称構造のネットワークの多層化での直交空間の学習では、多層構造（１０層～２０層）のシミュレーションで高速ワークステーションが是非とも、必要であり、今年度の残額４５万を、その費用の一部として、使用することになります。
|
Research Products
(5 results)
