2022 Fiscal Year Annual Research Report
Toward next-generation flexible and interpretable deep learning: A novel evolutionary wide dendritic learning
| Project/Area Number |
22H03643
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | University of Toyama |
|---|
Principal Investigator |
高 尚策 富山大学, 学術研究部工学系, 准教授 (60734572)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 深層学習 / 進化計算 / 人工知能 / 学習アルゴリズム |
|---|
| Outline of Annual Research Achievements |
本研究では、広く認知されている生物学的に妥当な樹状ニューロンモデル（DNM）に基づく新しい進化型広域樹状学習（EWDL）を提案する。具体的には、EWDLは以下の3つの新しい特徴を実現する。1）「広範囲」：単一のニューロンの広い樹状構造からの大きな計算能力を持つ。2）「局所的」：シナプスと樹状突起内の局所的形態を修正と拡張する機能に基づく知識発見能力を持つ。そして3）「進化的」：誤差逆伝播と進化学習アルゴリズムによって、最適なEWDLのアーキテクチャを発見する。
本年度は、樹状構造DNMを基盤とした新しい拡張ネットワークMDNM（EWDLの一種）が提案され、複数クラス分類問題の解決が可能になった。さらに、MDNMの効率的な誤差逆伝播学習アルゴリズムが初めて導出されった。広範な実験結果により、提案手法の有効性と優越性が、他の9つの最先端の分類器と比較して、10のデータセット（ウェブサービスの実世界問題を含む）において示された。実験結果から、提案された学習アルゴリズムは、分類性能と安定性において有能で信頼性があり、小規模の不均衡データにおいて注目すべき利点を持つことが示唆されている。さらに、規模によって制約されたネットワーク構造の側面も調べられた。また、ニューロンの樹状突起の強力な情報処理能力を考慮して、新しい樹状残差ネットワーク（DResNet）が提案された。COVID-19の予測問題に基づく実験結果は、提案手法が他の最新の手法よりも優れていることを示した。さらに、EWDLを学習する進化計算アルゴリズムもいくつかを提案し、その有効性を検討した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
上記の本年度の研究内容について、当初の予定通りに研究を遂行しており、その成果がIEEJ Transactions on Electrical and Electronic Engineering，Computational Intelligence and Neuroscienceなどの雑誌で掲載された。
|
| Strategy for Future Research Activity |
平成5年度は以下について取り組む予定である。１）最適なEWDLのアーキテクチャを開発するにあたって、DNMとVision Transformer等の深層学習モデルの融合に関する研究を行う。２）EWDLに適応できる最先端の進化計算学習アルゴリズムを提案する。３）構築したモデルや学習アルゴリズムの有効性を、CIFAR10などのベンチマーク問題を用いて検証する。
|
Research Products
(52 results)
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] MOOCs Dropout Prediction based on HMM2023
Author(s)
Huisheng Zhu, Yan Wang, Shuwen Chen, Yiyang Ni, and Shangce Gao
Organizer
2023 36th International Conference on Industrial, Engineering & Other Applications of Applied Intelligent Systems (IEA/AIE)
Int'l Joint Research
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
