Theoretical Analysis of Transfer Learning and Its Applications

2020 Fiscal Year Research-status Report

• Project/Area Number: 17K12653
• Research Institution: The University of Tokyo
• Principal Investigator: 熊谷 亘 東京大学, 大学院工学系研究科(工学部), 特任助教 (20747167)
• Project Period (FY): 2017-04-01 – 2022-03-31
• Keywords: 転移学習 / メタ学習 / ニューラル過程 / 普遍近似定理 / 畳み込み

Outline of Annual Research Achievements

本年度は主に，群対称性を用いたメタ学習手法に関する研究を行った．多くのデータ分布には平行移動，回転，拡大縮小などの群対称性が内在している．対称性を保存するデータ処理は同変写像として記述されるが，同変的な性質を取り入れることは性能を高めるためにしばしば有効である．本研究ではメタ学習の問題設定において置換不変かつ群同変的な学習アルゴリズムを，ある種の群同変写像とカーネル写像の２つのパートに分解できることを示した．２つの写像のうちの前者の群同変写像はそのままでは抽象的な写像であり，そのままでは具体的なアーキテクチャを構成することはできない．従って，抽象的な群同変写像を具体的なモデルで不変近似する問題に取り組んだ．畳み込みニューラルネットワーク（CNN）は同変性を持つモデルとして知られており，ある特定の群に対して同変写像を近似できることが示されている．しかしCNNに対する普遍近似定理は，それぞれの群や設定に応じて個別の手法で導出されていた．本年度は群CNNによる同変写像の普遍近似定理を統一的に与えた．分解定理と普遍近似定理を合わせることで，メタ学習の問題設定において同変的アルゴリズムの不変近似定理も与えた．これにより同変的アルゴリズムの具体的な実現方法が明らかになり，それを EquivCNP と名付けた．EquivCNPは1次元回帰タスクにおいて，従来の条件付きニューラル過程(CNP)と同等の性能を達成することを実験的に示した．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

メタ学習の文脈における理論的な結果を得ることができた．また本研究成果の一部は，機械学習のトップ会議の一つであるICLR2021に採択された．

Strategy for Future Research Activity

普遍近似定理に関してある程度強い仮定を用いて定理を証明しているので，その仮定を自然な形で弱め，適用範囲を拡大することを目指す．また本年度までの研究では群CNNをベースとしてアーキテクチャを構築したが，実験的には群畳み込みの計算量が多くなる傾向がある．今後は同変性を満たす範囲で，より計算量を削減できるような別のアーキテクチャを構築することを目指す．

Causes of Carryover

他の研究費を新たに使用することができるようになり，また感染症の影響で出張が全くなくなったため．