Theoretical Analysis of Transfer Learning and Its Applications

2021 Fiscal Year Research-status Report

• Project/Area Number: 17K12653
• Research Institution: The University of Tokyo
• Principal Investigator: 熊谷 亘 東京大学, 大学院工学系研究科(工学部), 特任助教 (20747167)
• Project Period (FY): 2017-04-01 – 2023-03-31
• Keywords: 転移学習 / 普遍近似定理 / 群対称性

Outline of Annual Research Achievements

本年度は，主に群対称性を持つデータ上の学習モデルについての研究を行った．様々なデータには群対称性が内在している．２つのデータドメインが共通の対称性を持つ場合，一方のドメインで対称性と両立する学習モデルを学習し，それをもう一方のドメインに適用することで高い性能を達成することが期待できる．本年度は主にグラフや点群などの有限群で記述される対称性を持つ場合について解析を行った．具体的には，群平均をとることで関数を不変・等変量関数に変換するレイノルズ演算子を用いた学習モデルの変換に着目した．レイノルズ演算子によって変換されたモデルをレイノルズモデルと呼ぶ．レイノルズモデルに基づく学習法自体はよく知られているが、計算量の問題から現実的にはほとんど実現不可能である．そこで、レイノルズ演算子の計算量問題を克服するために、新たにレイノルズデザインとレイノルズ次元と呼ばれる2つの概念を導入した．これらのレイノルズデザインとレイノルズ次元に基づく方法を用いることで、実現可能な計算量で普遍性を持つモデルを構築することができる．ベンチマークデータを用いた実験により、本手法が他の手法よりも効率的であることが示された．
また対称性に関する結果とは独立に，元ドメインと目標ドメインでの期待リスクの差を評価する新たな表示を導出した．既存研究では２つのドメインの期待リスクの差を上から評価するための様々な指標が提案されているが，それらよりもタイトな表式で，既存の複数の結果を系として導出することもできるものである．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

群対称性と両立する学習モデルについて普遍近似定理を含む理論的な結果を導出できた．また，それらの結果をまとめた論文を投稿するに至った．

Strategy for Future Research Activity

本年度は主に有限群に限った議論を行ったが，その解析を行う中で連続群でも成り立つような性質や証明方法を部分的に発見することができた．今後は幅広い対称性を包含するより統一的な理論を展開し，同時に計算量の観点からも扱いやすいモデルを構築することを目指す．

Causes of Carryover

感染症の蔓延により予定されていた出張が取りやめになったことが主な理由である．