• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2021 年度 実施状況報告書

非対称構造の多層ニューラルネットによる学習の高効率化のための直交空間の生成

研究課題

研究課題/領域番号 20K11957
研究機関東京都立産業技術大学院大学

研究代表者

石井 直宏  東京都立産業技術大学院大学, 産業技術研究科, 研究員 (50004619)

研究分担者 小田切 和也  椙山女学園大学, 文化情報学部, 教授 (30449491)
松尾 徳朗  東京都立産業技術大学院大学, 産業技術研究科, 教授 (80433142)
研究期間 (年度) 2020-04-01 – 2023-03-31
キーワードBio-inspired ネットワーク / 非対称構造ネットワーク / 直交部分空間の生成 / 非線形機能の空間生成 / 特徴空間でのトラッキング / 非対称構造の多層ネットワーク
研究実績の概要

今まで、Bio-inspired neural networkの研究として、非対称ニューラルネットワークによる直交部分空間の生成の問題を取り上げ、ネットワークの特徴づけとその機能について、明らかにしてきた。この非対称回路による直交部分空間の生成はcatfishの網膜の構造と機能に研究のベースとして、展開してきた。非対称構造のネットワークは構造の非対称と非線形作用により、直交部分空間を生成することを明らかにしてきた。具体的には、視覚系での直交部分空間では非対称構造とRectificationなどの非線形処理が大きく関わる。この二つの特徴が直交部分空間の直交基底を生成することを示した。この直交基底はネットワークの機能を有効に引き上げることを二つの機能で、明らかにした。初めに、入力が処理される、特徴空間で入力のトラッキング特性の解析を行った。このトラッキング特性が非対称ニューラルネットワークで優れており、従来のガボールフィルタを持った対称モデル(Energy modelと呼ばれる)に比べ、優れていることを示した。さらに、特徴空間でのclassificationの能力を検討した。Catfishのアマクリン細胞のインパルス特徴を取り入れることにより、機能性が大きくなることをXOR問題で示した。さらに、非対称構造を持つ多層ネットワークを構成して直交部分空間でのclassificationの能力を調べるために、Real world問題に適用した。ここでは、Reuters データ集合のクラス分類を行い、良好な結果を得た。さらに、非対称ネットワークの多層構造でのオペレーションを説明できる機能を課題とした。ここでも、直交部分空間の機能が大きな役割を果たすことを示した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

非対称構造のネットワークの特性およびその機能について研究してきた。このネットワークのベースは生物系のCatfishの網膜の構造に研究の端を発しているが、これが、従来の研究結果から、大脳の視覚皮質でも、さらに非対称性を展開した構造を示すことから、ニューラルネットワークの機能面からも、意味のあることである。この非対称構造ネットワークによる直交部分空間の生成と機能などで、従来手法の対称性を持つネットワークと比べて、新しい意味のある結果を示してきた。しかし、まだ、検討中の課題を抱えている。それは、非対称構造の多層のネットワークの直交部分空間での学習の効率化の研究について、まだ、十分な結果が示されていない。現時点でも、直交部分空間の層状の変換の問題に置き換えて、この学習問題について、引き続き研究を進めている。

今後の研究の推進方策

非対称構造のネットワークは従来手法の対称ネットワークと比較して、優れた機能を有しており、本来の生物系のニューラルネットワークの機能を反映する構造となっている。残された非対称構造の多層ネットワークでの直交部分空間の層状での変換が効率的な学習機能を生成すことが期待される。すなわち、直交空間は記憶、学習のプロセスにおいても、情報処理の効率化の観点から、大いに期待できる性質を有している。ここでの直交部分空間の変換機能と学習機能との関連機能の性質を明らかにしたく、さらに、掘り下げていきたい。

次年度使用額が生じた理由

本研究課題では、数回の国際会議での研究成果の発表のため、予算を計上しておりましたが
コロナのため、オンライン会議、実会議+オンライン会議などへの変更などのため、国外への渡航を取りやめました。これに代わり、国際会議の登録費用もやや高めになり、その他の費用が多くなりました。本研究課題での多層化ネットワークの直交空間での学習処理のためには、高速でメモリーの大きめなワークステーションが必要になりました。(これは従来手法のDeep Leaningの処理での高速、メモリー大の必要性と同じです)。
本研究課題の非対称構造のネットワークの多層化での直交空間の学習では、多層構造(10層~20層)のシミュレーションで高速ワークステーションが是非とも、必要であり、今年度の残額45万を、その費用の一部として、使用することになります。

  • 研究成果

    (5件)

すべて 2022 2021

すべて 雑誌論文 (5件) (うち査読あり 5件、 オープンアクセス 1件)

  • [雑誌論文] Generation of Orthogonality for Feature Spaces in the Bio-inspired Neural Networks2022

    • 著者名/発表者名
      Naohiro Ishii, Toshinori Deguchi, Masashi Kawaguchi, Hiroshi Sasaki, Tokuro Matsuo
    • 雑誌名

      Proceedings of the 23rd Engineering Applications of Neural Networks Conference - EANN 2022

      巻: Editor Lazaros ページ: -

    • 査読あり
  • [雑誌論文] Adaptive Orthogonal Characteristics of Bio-Inspired Neural Networks2021

    • 著者名/発表者名
      Ishii Naohiro、Deguchi Toshinori、Kawaguchi Masashi、Sasaki Hiroshi、Matsuo Tokuro
    • 雑誌名

      Logic Journal of the IGPL

      巻: JNL ページ: 1~21

    • DOI

      10.1093/jigpal/jzab004

    • 査読あり / オープンアクセス
  • [雑誌論文] Generation of Chow Parameters and Reduced Variables Through Nearest Neighbor Relations in Threshold Networks2021

    • 著者名/発表者名
      Ishii Naohiro、Matsuo Tokuro
    • 雑誌名

      International Journal of Neural Systems

      巻: 31 ページ: 2150045~2150045

    • DOI

      10.1142/S0129065721500453

    • 査読あり
  • [雑誌論文] Inheritances of Orthogonality in the Bio-inspired Layered Networks2021

    • 著者名/発表者名
      Ishii Naohiro、Deguchi Toshinori、Kawaguchi Masashi、Sasaki Hiroshi、Matsuo Tokuro
    • 雑誌名

      Intelligent Data Engineering and Automated Learning -IDEAL2021

      巻: LNCS 13113 ページ: 21~32

    • DOI

      10.1007/978-3-030-91608-4_3

    • 査読あり
  • [雑誌論文] Features Spaces with Reduced Variables Based on Nearest Neighbor Relations and?Their Inheritances2021

    • 著者名/発表者名
      Ishii Naohiro、Iwata Kazunori、Mukai Naoto、Odagiri Kazuya、Matsuo Tokuro
    • 雑誌名

      Advances in Computational Intellgence, IWANN2021

      巻: LNCS 12861 ページ: 77~88

    • DOI

      10.1007/978-3-030-85030-2_7

    • 査読あり

URL: 

公開日: 2022-12-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi