| Project/Area Number |
22KJ2642
|
|---|
| Project/Area Number (Other) |
21J21785 (2021-2022)
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Multi-year Fund (2023)
Single-year Grants (2021-2022) |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Aoyama Gakuin University |
|---|
Principal Investigator |
村田 健悟 青山学院大学, 理工学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,200,000 (Direct Cost: ¥2,200,000)
Fiscal Year 2023: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2022: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2021: ¥800,000 (Direct Cost: ¥800,000)
|
|---|
| Keywords | 継続学習 / 破滅的忘却 / 表現学習 / 深層学習 / ニューラルネットワーク / 自己教師あり学習 |
|---|
| Outline of Research at the Start |
ヒトは学習した事象を記憶しつつ新たな事象を学習し続けることが可能である．しかしながら，このような継続的な学習をニューラルネットワークに適用した場合，新たな事象の学習により以前に学習した事象を忘却してしまう，破滅的忘却と呼ばれる現象が発生することが知られている．本研究では，ヒトが行っている情報符号化方法の仮説の1つである集団符号化をニューラルネットワークに組み込むことで，破滅的忘却を回避可能な継続学習手法の確立を目指す．
|
| Outline of Annual Research Achievements |
本研究では，継続学習により生じる破滅的忘却を回避可能な継続学習手法の実現を目的とし，1)学習した潜在表現に注目した継続学習分析手法の設計と応用，2)汎用的な潜在表現の獲得と変換を行う継続学習フレームワークの開発，3)事前学習済みモデルを対象とした継続学習手法の開発に取り組んだ．
1)分類に適した表現が獲得されているかを定量的に評価する継続学習分析手法を設計した．また，本年度はこの分析手法を用いて，継続学習手法における基幹技術の1つであるKnowledge Distillationの効果を詳細に分析した．その結果，Knowledge Distillationは，モデルの学習した表現を保持する効果を持つ反面，新たな学習対象クラス間の分類に適した表現空間の構築を阻害してしまうことがわかった．
2)自己教師あり学習による汎用的な表現の獲得，汎用的な表現をクラス分類に適した表現へと変換する機構，および表現変換機構に対する忘却緩和メカニズムの3要素により構成される継続学習フレームワークを設計した．また，一般画像データセットを用いた実験を通して，提案フレームワークの導入による分類性能の向上を確認した．この結果は，汎用的な表現の獲得と分類に適した表現への変換が，忘却の回避と新たなタスクの学習の両立に寄与することを示している．
3)汎用的な表現を既に獲得していると考えられる事前学習済みモデルを対象とし，複数個の表現変換機構をタスク独立に学習させることで，表現変換機構に生じる忘却を回避する学習方法を設計した．本年度は，推論時に生じる各表現変換機構の干渉を緩和する損失項の開発に取り組んだ．また，画像分類データセットを用いた実験を通して，3種類の既存手法よりも高い分類性能を示すモデルを，提案手法により獲得可能であることを示した．この結果は，干渉を緩和する学習方法を導入することの重要性を示している．
|
