Designing Neural Network for Mitigating Catastrophic Forgetting Inspired by Brain Modularity
| Project/Area Number |
19K20415
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 62020:Web informatics and service informatics-related
|
|---|
| Research Institution | Kyoto Institute of Technology |
|---|
Principal Investigator |
CHEN LU 京都工芸繊維大学, 情報工学・人間科学系, 助教 (60822872)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000)
Fiscal Year 2021: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2020: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2019: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | ネットワークトポロジー / ニューラルネットワーク / モジュラリティ / 深層強化学習 / C-RAN / リンクトデータ |
|---|
| Outline of Research at the Start |
本研究では、ニューラルネットワークに大規模なデータを学習させる際に生じる「破滅的な忘却」を回避して、継続的な学習を可能にするニューラルネットワークを設計することを目的とする。「破滅的な忘却」は、新しい知識を学習させていくと、過去に獲得した知識を極度に失う問題である。手段として、人間の脳の知識の保持に貢献しているとされるモジュール性の発生メカニズムを人工ニューラルネットワークの設計に取り入れる。
|
| Outline of Final Research Achievements |
By applying MVG (Modularly Varying Goal) to a neural network that learns realistic data sets, which is, giving repeatedly switching goals while learning, we clarified that a highly modular neural network can be obtained and it can reduce catastrophic forgetting. Furthermore, MVG is also applied to deep reinforcement learning agents. We clarified that compared to the neural network trained only for the immediate environment, the neural network trained while repeatedly giving temporally or spatially different environments in addition to the immediate environment can suppress the decrease of learning accuracy when encountering an unlearned environment.
|
| Academic Significance and Societal Importance of the Research Achievements |
深層学習の急速的な発展により、人工ニューラルネットワーク技術の応用が注目を集めており、幅広い産業分野への応用が図られている。現状を考慮すると、人工ニューラルネットワークの応用カテゴリが今後も拡大することは想像に難くない。しかし、計算機資源には物理的限界が存在する。本研究で提案するニューラルネットワークは、複数のゴールに対して高い適応度を得ることができることから、これまでは複数のニューラルネットワークが必要であった学習タスクを、1つのニューラルネットワークで学習可能となるケースが存在することが考えられることから、計算機資源の削減が期待できる。
|
Report
(4 results)
Research Products
(3 results)
