2023 Fiscal Year Annual Research Report
Toward next-generation flexible and interpretable deep learning: A novel evolutionary wide dendritic learning
| Project/Area Number |
22H03643
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | University of Toyama |
|---|
Principal Investigator |
高 尚策 富山大学, 学術研究部工学系, 教授 (60734572)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 深層学習 / 進化計算 / 人工知能 / 学習アルゴリズム |
|---|
| Outline of Annual Research Achievements |
実際の神経細胞の相互結合に着想を得た人工ニューラルネットワーク（ANN）は、コンピュータビジョンや自然言語処理など、さまざまな分野でかつてない成功を収めている。最近、樹状突起ニューロンモデル（DNM）として知られる新しい数学的ANNモデルが、実際のニューロンの構造をより正確に反映することによって非線形問題に対処するために提案された。しかし、単一出力の設計であるため、複数出力のタスクを処理する能力が制限されており、その応用範囲は限られている。
本年度、この問題を解決するために、新しいマルチイン・マルチアウト樹状突起ニューロンモデル（MODN）を提案した。バイナリ分類とマルチクラス分類のタスクに関する11のデータセットを用いた実験結果は、精度、収束性、汎用性に関してMODNの有効性を実証していた。
また、樹状突起ニューロンを活用した新しいセグメンテーションアプローチを提案した。このアプローチでは、樹状突起ニューロンを用いた非線形特徴マッピングが可能な畳み込みブロックを導入し、エンコーダ・デコーダ構造、アップサンプリングインデックス、およびディープスーパーバイズ手法を含むSegNetの変種を基にセグメンテーション精度を向上させた。さらに、提案手法を医療画像データセットで評価し、その実験結果から、本手法が最先端の手法よりも性能面で優れていることを実証した。
そして、樹状突起学習可能ネットワークアーキテクチャとVision Transformerを統合し、画像認識の精度を向上させることも提案した。本研究では、神経科学における樹状突起ニューロンの理論に基づき、視覚的特徴を分類する工学的により実用的なネットワークを設計した。これに基づき、樹状突起学習を組み込んだVision Transformer（DVT）を提案し、3つの画像認識ベンチマークで他の最先端手法を上回る性能を示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
上記の本年度の研究内容について、当初の予定通りに研究を遂行しており、その成果がIEEE/CAA Journal of Automatica Sinica，Knowledge-Based Systemsなどの雑誌で掲載された。
|
| Strategy for Future Research Activity |
令和6年度は以下について取り組む予定である。１）最適なEWDLのアーキテクチャを開発するにあたって、神経細胞のマルチレベル樹状突起構造を模倣したマルチ樹状突起錐体ニューロンモデル（MDPN）を提示する。従来のフィードフォワードネットワークモデルとは異なり、MDPNは線形和積分を捨て、神経可塑性を向上させるような非線形樹状突起計算を採用する。軽量で効果的な分類システムをモデル化するため、単一ニューロンの重要性を強調し、各サブコンポーネントの機能を再定義することに関する研究を行う。２）予測問題においては、生物学的な樹状突起のような非線形計算能力を持つ単一樹状突起ニューロンモデル（DNM）が良好な結果を得ている。一方、多層のMcCulloch-Pittsニューロンから構成される四元数ニューラルネットワークは、空間回転、画像処理、多次元予測などで顕著な成果を上げている。しかし、単一のDNMが四元数領域に拡張されたことはなく、多変量予測問題への応用もなされていない。来年度の研究では、まず実数値DNMを四元数領域に一般化する。四元数DNM(QDNM)の性能は、いくつかの実世界の多変量金融時系列予測タスクを通して評価される。３）構築したモデルや学習アルゴリズムの有効性を、MINIST, CIFAR10, CIFAR100, Tiny-ImageNetなどのベンチマーク問題を用いて検証する。
|
| Remarks |
研究成果発信WEBページ
https://toyamaailab.github.io/
|
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Differential Vectors Empower Snow Ablation Optimizer2023
Author(s)
Tianfang Lu, Haotian Li, Yifei Yang, Zhiwei Yu, Zhenyu Lei, and Shangce Gao
Organizer
2023 IEEE 11th Joint International Information Technology and Artificial Intelligence Conference (ITAIC 2023), Chongqing, China, December 8-10, pp.1382-1386, 2023
Int'l Joint Research
-
[Presentation] Recurrent Dendritic Neural Network2023
Author(s)
Jiayi Li, Zhipeng Liu, Yaotong Song, and Shangce Gao
Organizer
2023 IEEE 11th Joint International Information Technology and Artificial Intelligence Conference (ITAIC 2023), Chongqing, China, December 8-10, pp.1285-1289, 2023
Int'l Joint Research
-
-
-
-
-
-
-
-
-
[Presentation] Deep-Layered Differential Evolution2023
Author(s)
Kaiyu Wang, Zhenyu Lei, Ziqian Wang, Zhiming Zhang, and Shangce Gao
Organizer
The 14th International Conference on Swarm Intelligence (ICSI'2023), 14th-18th July 2023, Shenzhen, Guangdong, China, LCSI 2023 13969, pp.503-515, 2023
Int'l Joint Research
