2019 Fiscal Year Research-status Report
脳のモジュール性に学ぶ破滅的忘却を軽減するニューラルネットワークの設計
| Project/Area Number |
19K20415
|
|---|
| Research Institution | Kyoto Institute of Technology |
|---|
Principal Investigator |
CHEN LU 京都工芸繊維大学, 情報工学・人間科学系, 助教 (60822872)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | ネットワークトポロジー / ニューラルネットワーク / モジュラリティ |
|---|
| Outline of Annual Research Achievements |
本研究では、ニューラルネットワークに大規模なデータを学習させる際に生じる「破滅的な忘却」を回避して、継続的な学習を可能にするニューラルネットワークを設計することを目的とする。「破滅的な忘却」は、新しい知識を学習させていくと、過去に獲得した知識を極度に失う問題である。手段として、人間の脳において学習の干渉の軽減に貢献しているとされるモジュール性の発生メカニズムを人工ニューラルネットワークの設計に取り入れる。将来的にはWebデータの継続的な学習への応用が期待される。
（１）令和元年度においては、小規模なリアリスティックなデータセットの学習において、脳におけるモジュール性の発生メカニズムに習い、繰返し切替わるゴールを与えて学習させることにより、モジュール性の高いニューラルネットワークの存在し、それが破滅的な忘却を軽減することを明らかにした。
（２）加えて、（１）で得られたニューラルネットワークの特性を基に、破滅的な忘却を軽減可能なモジュール性を強化する手法を提案した。具体的には、（１）で得られたモジュール性の高いニューラルネットワークにおいて、モジュール間の要素が相対的に変動しやすい一方で、モジュール内要素が相対的に保持される傾向にあることから、モジュール性を強化する手法として、モジュール間の要素を抑制しながら学習する手法を提案した。提案手法がニューラルネットワークのモジュール性を強化し、破滅的な忘却を軽減することを示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
脳におけるモジュール性の発生メカニズムのリアリスティックなデータセットへの応用を可能にしたものの、当初目標としていた形式のデータへの応用ができていない。今後引き続き検討する。
|
| Strategy for Future Research Activity |
令和２年度は、本年度の成果を踏まえて、より現実的なデータセットへの応用を検討することを予定している。
|
