2021 Fiscal Year Annual Research Report
ニューラルネットワークを対象とした忘却回避型継続学習の実現
| Project/Area Number |
21J21785
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Aoyama Gakuin University |
|---|
Principal Investigator |
村田 健悟 青山学院大学, 理工学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2021-04-28 – 2024-03-31
|
| Keywords | 継続学習 / 破滅的忘却 / 自己教師あり学習 / ニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，継続学習により生じる破滅的忘却を回避可能な継続学習手法を実現することである．本年度は，1) 自己教師あり学習により生じる忘却現象の分析，および，2) 自己教師あり学習を利用した継続学習手法の実現について研究を行った．
1) 継続学習において一般に利用されるクラス分類学習と比較して，クラスラベルを利用しない表現学習手法である自己教師あり学習は，獲得される表現の汎用性から忘却が生じにくいと考えられる．そこで，この仮説について実験的に検証を行い，自己教師あり学習による最適化がクラス分類学習による最適化に比べ忘却に頑健であることを示した．さらに，従来の忘却緩和手法が自己教師あり学習による最適化に有効であることを，一般画像データセットを利用した実験により確認した．これらの分析結果は，既存継続学習手法に対する自己教師あり学習の組み込みが忘却の緩和に寄与することを示していると考えられる．
2) 1)の分析を通して得られた知見に従い，既存継続学習手法への自己教師あり学習の組み込み手法を考案した．提案手法には，自己教師あり学習によりクラス分類への最適性が失われることを避けるため，自己教師あり学習により獲得した特徴をクラス分類に最適な特徴に変換する特徴変換機構，および，特徴変換機構に対する忘却緩和メカニズムを組み込んだ．また，一般画像データセットを利用した実験を通して，提案手法を既存手法へ組み込むことが分類性能の向上に寄与することを示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
自己教師あり学習を用いた継続学習手法の考案について取り組み，自己教師あり学習の忘却への頑健性の検証および自己教師あり学習を利用した継続学習フレームワークの提案を行った．得られた研究成果は，自己教師あり学習の利用が忘却への頑健性の向上に寄与することを示している．しかし，提案フレームワークは，自己教師あり学習により獲得した特徴を変換する特徴変換機構の存在により，クラス分類への最適性を担保できる一方，特徴機構自体に生じる忘却を満足に緩和することができないという問題を抱えており，この問題への対処が必要である．
|
| Strategy for Future Research Activity |
令和3年度に行った研究では，自己教師あり学習を用いた継続学習フレームワークを考案し，そのフレームワークの有効性を評価した．令和4年度は，提案フレームワークにおける問題点である，自己教師あり学習により獲得した特徴を変換する特徴変換機構について，忘却に頑健な特徴変換方法を考案する．このような忘却頑健性を特徴変換機構に付与することで，提案フレームワークの適用による忘却抑制効果がさらに向上することが期待される．また，提案フレームワークにおいて考慮されていない継続学習により生じる学習不能状態について，その対処方法を考案することで提案フレームワークの実世界への応用可能性を向上させる．
|
