Designing Neural Network for Continuously Learning

• Project/Area Number: 18H06463
• Research Category: Grant-in-Aid for Research Activity Start-up
• Allocation Type: Single-year Grants
• Review Section: 1001:Information science, computer engineering, and related fields
• Research Institution: Kyoto Institute of Technology
• Principal Investigator: CHEN LU 京都工芸繊維大学, 情報工学・人間科学系, 助教 (60822872)
• Project Period (FY): 2018-08-24 – 2019-03-31
• Project Status: Completed (Fiscal Year 2018)
• Budget Amount: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000); Fiscal Year 2018: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
• Keywords: ネットワークトポロジー / ニューラルネットワーク

Outline of Final Research Achievements

We clarified that MVG (Modularly Varying Goal) is useful for mitigating catastrophic forgetting. In detail, we find that, by evolving the neural network with MVG, high fitness can be obtained for multiple learned tasks by a few link rewiring or weight changes. In addition, we find that the number of specific motifs said to be useful for information processing is relatively large in neural networks evolved by MVG. Furthermore, the number of these motifs become relatively increase as the number of tasks to learn increases.

Academic Significance and Societal Importance of the Research Achievements

深層学習の急速的な発展により、人工ニューラルネットワーク技術の応用が注目を集めており、幅広い産業分野への応用が図られている。現状を考慮すると、人工ニューラルネットワークの応用カテゴリが今後も拡大することは想像に難くない。しかし、計算機資源には物理的限界が存在する。本研究で提案するニューラルネットワークは、複数のゴールに対して、少しのリンク張替えや重みの書き換えで、高い適応度を得ることができることから、これまでは複数のニューラルネットワークが必要であった学習タスクを、1つのニューラルネットワークで学習可能となるケースが存在することが考えられることから、計算機資源の削減が期待できる。

Research Products

• [Remarks] LU CHEN
  • URL: https://sites.google.com/view/l-chen