Designing Neural Network for Mitigating Catastrophic Forgetting Inspired by Brain Modularity

2021 Fiscal Year Final Research Report

• Project/Area Number: 19K20415
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 62020:Web informatics and service informatics-related
• Research Institution: Kyoto Institute of Technology
• Principal Investigator: CHEN LU 京都工芸繊維大学, 情報工学・人間科学系, 助教 (60822872)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: ネットワークトポロジー / ニューラルネットワーク / モジュラリティ / 深層強化学習 / C-RAN

Outline of Final Research Achievements

By applying MVG (Modularly Varying Goal) to a neural network that learns realistic data sets, which is, giving repeatedly switching goals while learning, we clarified that a highly modular neural network can be obtained and it can reduce catastrophic forgetting. Furthermore, MVG is also applied to deep reinforcement learning agents. We clarified that compared to the neural network trained only for the immediate environment, the neural network trained while repeatedly giving temporally or spatially different environments in addition to the immediate environment can suppress the decrease of learning accuracy when encountering an unlearned environment.

Free Research Field

ニューラルネットワーク

Academic Significance and Societal Importance of the Research Achievements

深層学習の急速的な発展により、人工ニューラルネットワーク技術の応用が注目を集めており、幅広い産業分野への応用が図られている。現状を考慮すると、人工ニューラルネットワークの応用カテゴリが今後も拡大することは想像に難くない。しかし、計算機資源には物理的限界が存在する。本研究で提案するニューラルネットワークは、複数のゴールに対して高い適応度を得ることができることから、これまでは複数のニューラルネットワークが必要であった学習タスクを、1つのニューラルネットワークで学習可能となるケースが存在することが考えられることから、計算機資源の削減が期待できる。