2022 Fiscal Year Annual Research Report
ニューラルネットワークを対象とした忘却回避型継続学習の実現
| Project/Area Number |
21J21785
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Aoyama Gakuin University |
|---|
Principal Investigator |
村田 健悟 青山学院大学, 理工学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2021-04-28 – 2024-03-31
|
| Keywords | 継続学習 / 破滅的忘却 / 表現学習 / ニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
本年度は，1) 昨年度に設計した自己教師あり学習を利用した継続学習フレームワークの洗練化，および，2) 学習したパラメータの更新を行わず，追加パラメータの最適化のみを行うことで新たなタスクへ適応する継続学習手法の実現について研究を行った．
1) 昨年度に設計した自己教師あり学習手法を利用した継続学習フレームワークについて，多様な既存手法に対して提案フレームワークの組み込みによる分類性能の向上効果を発揮させるために，提案フレームワークの分析と洗練化を行った．その結果，一般画像データセットを利用した実験を通して，5種類の既存手法について提案フレームワークを組み込んだ場合に分類性能が向上することを確認した．
2) 1)で提案した継続学習フレームワークは，特徴変換を行うモジュールの継続的な更新を必要とするため，その更新により忘却が生じてしまうという問題を抱えている．加えて，モデルパラメータ数が固定であるため，継続的な学習により学習不能状態に陥ることが想定される．そこで，Prompt Tuningと呼ばれる転移学習技術を利用し，各クラスの認識に特化したパラメータのみを追加学習する継続学習手法を提案した．提案手法は，学習したパラメータの更新を行わないため，パラメータの更新による忘却を完全に回避することができ，さらに，パラメータを逐次的に追加するため学習不能状態に陥ることがない．また，一般画像データセットを利用した実験を通して，学習したサンプルの保持が不可であるという問題設定において，他のPrompt Tuningを利用した継続学習手法よりも高い分類性能を示すモデルを獲得可能であることを示した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
これまでの研究では，汎用的な表現学習の継続学習における有用性を示し，その表現を学習対象のタスクに適した表現へと変換する表現変換機構を実現した．さらに，表現変換機構の逐次的な拡張方法を考案し，継続的な学習によって生じる得る問題の1つである，モデルの学習不能状態に対処することを可能とした．加えて，学習したサンプルの保持が不可であるという問題設定においても，提案手法により高い性能を持つモデルを実現可能であることを示した．このことは，プライバシー等の問題によりサンプルを一定期間以上保持できないような場合においても，提案手法の利用が可能であることを示している．しかし，その性能の高さは事前学習済みモデルの性能に大きく依存し，事前学習済みモデルが学習対象タスクについて有用な特徴を抽出できない場合，提案手法では高い分類性能を示すモデルを実現できないという問題を抱えている．
|
| Strategy for Future Research Activity |
令和5年度は，事前学習済みモデルが学習対象タスクについて有用な特徴を抽出できない場合に高い性能を発揮することができないという，提案手法の問題点に対処するため，異なる時点で学習した情報の関係性を明示的に学習する手法を設計する．具体的には，クラス分類問題を対象とし，各クラスを表す概念に着目した表現学習と，その概念を利用した分類学習方法を考案する．これら学習方法を実現することで，すでに学習したクラスと新たな学習対象クラスの分類について，学習したクラスの概念を利用することで，学習したクラスのサンプルを利用せずとも，その分類の明示的な学習が可能になることが期待される．
|
