2020 Fiscal Year Research-status Report
Generation of Orthogonal Sub-spaces for Efficient Learning in Layered Neural Networks with Asymmetric Structures
| Project/Area Number |
20K11957
|
|---|
| Research Institution | Advanced Institute of Industrial Technology |
|---|
Principal Investigator |
石井 直宏 東京都立産業技術大学院大学, 産業技術研究科, 研究員 (50004619)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小田切 和也 椙山女学園大学, 文化情報学部, 教授 (30449491)
松尾 徳朗 東京都立産業技術大学院大学, 産業技術研究科, 教授 (80433142)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 非対称構造のニューラルネット / Gabor filter / 選択的直交空間の生成 / 層状サブネットワークの構成 / 独立サブネットワークの設計 |
|---|
| Outline of Annual Research Achievements |
非対称構造のニューラルネットワークとして、生物の網膜に注目し、catfishの網膜内部回路の非線形系を持つ非対称構造のニューラルネットワークを取り上げた。はじめに、ホワイトノイズ入力の実験結果をベースとして、Gaborフィルターの接続した非対称構造のネットワークの計算論的な解析を進めた。ここでは、入力の動きにに対する非対称構造の動作の振る舞いを計算論的に明らかにしてきた。入力としての静的な刺激の対して、Gaborフィルターを含む、非対象構造のネットワークのユニット間での相関関数を計算して、回路の直交性を明らかした。この結果、静的な刺激に対して、相関の直交性の値が少なく、動的なガウス性ノイズの刺激の強さの動き、および正弦波刺激に対して、適応的な直交性の値を示した。さらに、非対称構造のニューラルネットはFeature spaceに位置しており、ここでの直交空間を引き受けた,独立空間を持つ層状ネットワークの生成の問題を取り上げた。層状ネットワークはDeep learningなど近年のネットワークのベースでもあるが、その複雑性から、説明のつくネットワークの展開が期待されている。本研究では、層状ネットワークの独立性の空間を２つのサブネットワーク空間の設計の問題としてとらえ、１つの主サブ空間は入力の最近傍関係から設計できることを示した。もう一つのサブ空間、その近傍関係からはみ出している入力が独立性を支える空間として設計できることを示した。これらの関連の研究成果は欧州のニューラルネットなどの国際会議、EANN2020で発表し、さらに２０２１年２月のOpen accesssのLogic Journal of the IPGLにも掲載した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
非対称構造のニューラルネットはFeature spaceに位置しており、ここでの入力が上位のネットワークにどのように引き継がれるかが問題となる。Feature sopaceは直交空間としての役割が大きいが、引き受ける空間の独立空間を持つ層状ネットワークの伝搬が効率の良いシステムである。この理由は直交空間の引継ぎは理想であるが、層状ネットワークの展開として、近年、Deep learningなど近年のネットワークのベースでもあるが、その複雑性から、多くの問題も生じ、今まで代数的な直交空間への変換などの試みがある。しかし、層状ネットワークの存在意義を明示すような理解可能で、説明のつく層状ネットワークの展開が期待されている。そこで、本研究ではFeature spaceを引き継ぐ、独立空間の層状ネットワークの設計の問題に取り組んだ。この空間は入力データの最近傍関係とその関係の伝承性をベースとする展開である。層構造が独立性を持つ空間であることから、ネットワークのデータ処理には柔軟に対応できる。
|
| Strategy for Future Research Activity |
非対称構造のニューラルネットワークの適応的直交空間の生成からスタートして、層状ニューラルネットワークの設計の問題として研究を進めている。ここでは、Feature spaceからの層状の独立性空間への接続が理解でき、かつ、情報論的に説明できる層状ネットワークの設計となる。すでに、入力データ間の近傍関係から、データの論理、代数的構造を把握する方法を求めており、これをFeature space から続く、層状ネットワークの構成へと展開させている。ここでの層状ネットワークの層の構成として、２つのsubspaceからなる機能を結合させている。一つが近傍関係をベースとするsbspaceであり、もう一つがこの層での独立性を保持すためのsubspaceである。最近のDeep learningの多層構造のネットワークの複雑さと理解、説明の困難さを克服する要請にこたえるべく、多層構造のネットワークの独立性をベースとする方法論の構築を目指し、研究を進めたい。
|
| Causes of Carryover |
初年度の昨年はコロナ禍で、研究を遂行するための十分な打ち合わせと検討、研究のシステムの構築の実験とその検討、層状ネットワークのシステムの構築の展開が十分できない状況に陥りました。次年度となる、今年への繰り越された研究課題の遂行が必要になってきております。ここでは、ぜひとも、昨年度からの繰越の研究費の使用が必要となっており、繰越のを、お願いする次第です。同じく、研究分担者の研究遂行も、この状況下で十分な活動ができなくなり、今年度はオンラインで、打ち合わせを進め、かなり着手できる状態となっております。また、繰越金からの研究分担者の会議発表予定もあり、今年度の研究遂行が極めて、重要となっております。
|
Research Products
(4 results)
