2022 Fiscal Year Research-status Report
A Kernelnalized learning method as a model of insect-brain and its application for an incremental learning algorithm for embedded machine learning systems
| Project/Area Number |
22K12176
|
|---|
| Research Institution | Chubu University |
|---|
Principal Investigator |
山内 康一郎 中部大学, 工学部, 教授 (00262949)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 昆虫脳の学習モデル / 追加学習モデル / 忘却の重要性 |
|---|
| Outline of Annual Research Achievements |
ショウジョウバエの脳中枢であるキノコ体には、新奇な匂いだけに強く反応して、それを反Hebb学習するニューロンが存在する。この現象は新奇な匂いの追加学習を行っている事を強く示唆するものである[1]。ただし制限された容量以内で追加学習を継続するためか、新奇な匂いを与えると、既存の記憶に関係するキノコ体出力ニューロン（MBON)のシナプス結合強度が増加（記憶の減衰（忘却））することが確認されている[1]。この「忘却」メカニズムをKernel法を使ってモデル化し、忘却戦略に応じて次の2つの仮説を提案した。①最古の記憶を破棄すると仮定した場合、この破棄に伴う累積誤差の上昇を緩和する。②最近最も使用していない記憶を破棄すると仮定した場合、このような記憶を特定するために必要とされる。これらの仮説は、昆虫脳における記憶の忘却の重要性を示唆する。具体的には、このMBONα'-3のHebb学習モデルについて最大誤り回数と記憶の減衰率との関係を数学的に導出すると共に計算機シミュレーション結果も踏まえて、いずれも累積誤差を減少させることを示した。これらの結果は現在国際会議に投稿中である。
また、組み込み機器向け学習エンジンの最新版LGRNNPlusを雑誌投稿し、採択された[2]。今後この学習理論に上記で得られた知見の導入を試みる。
[1]D.Hattori, Y.Aso, Kurtis J. Swartz, Gerald M. Rubin, L.F. Abbott, Richard Axel . Cell, vol.169, pp. 956--969, May, (2017).
[2] Koichiro Yamauchi ., Evolving Systems, vol.14, pp. 437--460, December, (2022).
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ショウジョウバエは新奇な匂いだけに反応するキノコ体出力ニューロン(MBONα'-3)が存在する。ただしキノコ体からMBONα'-3への神経繊維の本数と一種類の匂いに対して反応するキュニオン細胞の個数より、弁別できる匂いは20種類程と見積もられる。このように制限された容量以内で追加学習を継続するため、過去の記憶の一部を捨てて新しい匂いを学習していると予想できる。事実、新奇な匂いを与えると、既存の記憶に関係するキノコ体出力ニューロン（MBON)のシナプス結合強度が増加（忘却）することが確認されている[1]。この「忘却」メカニズムをKernel法による学習アルゴリズムとしてモデル化し、忘却戦略に応じて次の2つの仮説を提案した。①最も古い記憶を破棄すると仮定した場合、この破棄に伴う累積誤差の上昇を緩和する。②最近最も使用していない記憶を破棄すると仮定した場合、このような記憶を特定するために必要とされる。これらの仮説は、昆虫脳における忘却の重要性を示唆するものである。具体的には、kernel法でモデル化したMBONα'-3のHebb学習アルゴリズムについて最大誤り回数と忘却率との関係を数学的に導出すると共に計算機シミュレーション結果も踏まえて評価をした。学習モデルをkernel法を用いて構築し、その理論解析を行った。これにより昆虫脳における追加学習時に、一見不合理に思われる忘却が生ずることでかえって累積誤差の上昇を抑える事が可能になる事を理論的に示すことが出来た。
[1]D.Hattori, Y.Aso, Kurtis J. Swartz, Gerald M. Rubin, L.F. Abbott, Richard Axel . Cell, vol.169, pp. 956--969, May, (2017).
|
| Strategy for Future Research Activity |
①仮説の検証: 導き出された2つの仮説
「仮説１：忘却が最古の記憶の削除に伴う累積誤差の上昇を緩和する。仮説２：忘却（記憶の減衰率）が最も最近使用していない記憶の特定を可能とし、損失を最小限に抑えながら削除する。」のうちどちらが正しいのかを行動実験で調査するべく、ショウジョウバエの研究を行っている研究者の中から協力者を探す。
②また、忘却を積極的に活用する組み込み学習エンジンを開発して実応用に供する。具体的には以前より研究していた組み込み機器向け学習エンジンの最新版LGRNNPlus[2]に上記で得られた知見の導入を試みる。 [2] Koichiro Yamauchi . "Quick Continual kernel learning on bounded memory space based on balancing between adaptation and forgetting", Evolving Systems, vol.14, pp. 437--460, December, (2022).
またこのような学習エンジンを使った太陽電池のMPPTコンバータを作成してその評価を行う。このためにMPPTコンバータの制御用マイクロコンピュータのソフトウエアを構築する。
|
| Causes of Carryover |
2022年度中に国際会議への出席を計画していたが、実現しなかったため次年度に繰越金が生じた。現在新たな国際会議に投稿中で、査読中である。もしこれがAcceptされた際にはこの国際会議に出席する費用として繰越金をあてがう。また本年度は昨年度の研究で得られた知見を生かして、当方が長年開発してきた組込用学習エンジンを改良し、実機への組み込みを行う予定である。ここで必要となる部品代のみならず、シミュレーションとFPGA高位合成のためのコンピュータの購入に充てる予定である。
|
