2021 Fiscal Year Research-status Report
Neural Representation Learning using External Structure Information
| Project/Area Number |
21K17821
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
長野 祥大 東京大学, 大学院新領域創成科学研究科, 特任研究員 (70898022)
|
|---|
| Project Period (FY) |
2021-04-01 – 2026-03-31
|
| Keywords | ニューラルネットワーク / 深層学習 / 機械学習 / 表現学習 / 生成モデル |
|---|
| Outline of Annual Research Achievements |
本研究は，外界の構造やそこから得られる教示情報を利用してデータの背後に潜む解釈性の高い内部表現を抽出する手法の開発を目指すものである．研究実施計画初年度である本年度は，課題1で挙げたデータセットの帰納バイアスを利用した深層学習として，データが複数環境にまたがって収集されている状況に関する研究で進捗がみられた．
複数の環境からデータが収集されている状況では，それらの環境ごとの変動に適応したり，変動に不変な表現の獲得を目指したりすることで有用な情報の抽出が見込める．代表的な学習アルゴリズムとして知られるMAMLとIRMはどちらも勾配法ベースの最適化手法であり，環境依存の正則化項の下での最適化問題として表すことができる．これらの学習アルゴリズムの訓練可能性がどのように環境変動に由来する正則化項に依存するかを解析的に明らかにした．
また，複数の環境からデータを収集する際，一度にすべての環境からのデータが得られるとは限らない．異なる環境から順番に一つずつ収集したデータが与えられる状況で継続学習を行う枠組みでは，新しい環境への適応で過去の情報が失われてしまう破滅的忘却が問題となる．この問題に関して，生徒-教師学習という単純な模型を用いてどのような状況で破滅的忘却が起きるかを解析した．結果として，破滅的忘却の度合いを環境間の類似度を意味する2つのパラメーターで集約して定性的に評価できた．
加えて，課題3の関係データを用いた深層表現学習に関わる研究も併せて遂行中である．データ間の類似情報に関わる教示のもとで得られる画像データの内部表現について，他の学習手法や生物の視覚システムと比較してどのような相違点があるか，数値的に評価を行っている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は課題1としてデータセットに対する帰納バイアスを利用する深層学習手法に関する解析を行った，複数環境下での勾配法の学習可能性と継続学習における破滅的忘却に関する研究をすすめることができ，これらの成果はそれぞれ学術論文として出版することができた．また，課題3の関係データを用いた深層表現学習の研究に関して，今後具体的な手法提案ないし既存手法の解析を進めるための基礎的な準備を行うことができた．一方で，本研究の目的として挙げた内部表現のdisentanglementに関する具体的な解析が残っている．よって，おおむね順調に進展しているといえる．
|
| Strategy for Future Research Activity |
課題1の帰納バイアスを利用した表現学習に関する研究を引き続きすすめる．本年度はデータセットに帰納バイアスがみられる状況における深層学習手法の訓練中の現象に関する研究をすすめることができた．次年度はこれらの研究成果を踏まえつつ，帰納バイアスのもとでの新たな表現学習手法の開発を目指す．また，課題3の関係データを用いた深層表現学習の研究を進めていく計画である．類似/非類似の教示情報からdisentanglementに代表される後続タスクにとって有用な内部表現がどのように抽出できるかに関して研究を進めていく．
|
| Causes of Carryover |
計画時には計算機の購入におおよそ7-80万円を使用し，学会等の旅費におおよそ30万円を拠出する計画であった．計算機の購入については，世界的なGPU需要の高まりから年度内に物品を調達することが困難と判断したため購入を次年度に先送りすることとした．学会参加への旅費については感染症拡大から私が参加するすべての学会がオンラインで開催され参加費が必要なくなったため次年度以降情勢が回復した際の追加の学会参加のための費用として保持することとした．
|
