A Kernelnalized learning method as a model of insect-brain and its application for an incremental learning algorithm for embedded machine learning systems
| Project/Area Number |
22K12176
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Chubu University |
|---|
Principal Investigator |
山内 康一郎 中部大学, 工学部, 教授 (00262949)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2024: ¥260,000 (Direct Cost: ¥200,000、Indirect Cost: ¥60,000)
Fiscal Year 2023: ¥260,000 (Direct Cost: ¥200,000、Indirect Cost: ¥60,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
|
|---|
| Keywords | Kernel Perceptron / Mushroom Output Neurons / Incremental Learning / Free energy principle / Weight shrinkage / 昆虫脳の学習モデル / 追加学習モデル / 忘却の重要性 / 昆虫脳 / 学習モデル / 機械学習 / 追加学習 / 予算付き学習 |
|---|
| Outline of Research at the Start |
昆虫の微小脳の中枢：キノコ体のニューロンの中で、感覚入力の新奇性に反応を示すドーパミン作動性ニューロンとキノコ体出力細胞の学習能力に焦点を当て、次の疑問に対する回答を数理モデルから得ると共に実用性を検証する。
疑問１：およそ２０個という記憶容量を運用するために、どの記憶を保持し・捨てるのか？
疑問２：新規に覚えた記憶も短時間しか保持しないメリットは何か？
方法：kernel法を活用して数理モデルを構築し、学習サンプル分布が頻繁に変動する環境における学習で、忘却による損失 VS 変化する分布への不適応による損失 から昆虫脳の学習戦略を解釈する。これに基づく学習理論を構築し、その実用性を検証する。
|
| Outline of Annual Research Achievements |
ショウジョウバエのキノコ体出力ニューロン(MBON)のうち，α'3とラベル付けされた部位の学習プロセスをKernel法を使った数理モデルで記述し，忘却（重みの減衰）が果たす役割について数理的に議論する．
2023年度は，2022に構築したモデルに加えて，2つの新たな数理モデルを立てた．1つは学習するたびにユニットの重みを減衰させるForgetronと呼ばれる既存のモデルを多次元出力モデルに拡張したもの，もう一つはLeast Recently Used (LRU)法を導入して不要なカーネルを削除するものである．拡張したForgetronについては忘却が累積誤差を抑制することを証明することに成功した．さらにMBONα'3の学習時の振る舞いは，強化学習の枠組みでは説明し難いという問題があったが，これをFristonの自由エネルギー原理を導入することで解決した．自由エネルギー原理に基づけば，全ての学習行動を「サプライズ」を減少させる（未知のものを既知にする）ように学習するものと解釈する．MBONα'3の学習はこれに沿った学習法として説明できる．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
MBONα'3の忘却を伴う学習モデルとして三つのモデルを提案した．2023年度中にこの三つのモデル全てについて忘却の効果を数理的に証明する予定であったが，証明できたのは一つだけである．残りの二つについては現在も証明作業を継続中である．
|
| Strategy for Future Research Activity |
証明が完了していない数理モデルについて，似たモデルがコンピュータサイエンス分野の研究に存在することが最近判明した．この既に得られている知見を参考にしながらスピード感を持って証明作業を進める．これに並行して2024年度に予定されている組み込み機器用学習エンジンの開発を進める．
|
Report
(2 results)
Research Products
(4 results)
