2022 Fiscal Year Annual Research Report
Theoretical Analysis of Transfer Learning and Its Applications
| Project/Area Number |
17K12653
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
熊谷 亘 東京大学, 大学院工学系研究科(工学部), 特任助教 (20747167)
|
|---|
| Project Period (FY) |
2017-04-01 – 2023-03-31
|
| Keywords | 転移学習 / 普遍近似定理 / 群対称性 / メタ学習 |
|---|
| Outline of Annual Research Achievements |
本年度は転移学習に関する理論解析を行った．そこで得られた主定理について説明する．目標ドメインと元ドメインの２つのデータドメインがある状況を考える．そこで，各々のドメインには二種類の変数XとYの同時分布からデータが発生していると仮定する．このとき，２つのドメインにおける同時分布に関する期待リスクの差を２つのパートに分けるような分解定理を与えた．ここで第一のパートは周辺分布(すなわちXの分布)に関する期待値で表される量であり，第二のパートは条件付き分布(すなわちXで条件づけたYの分布)に関する期待値で表される量である．これは既存研究において得られている期待リスクの差に関するバウンドの精密化に辺り，特別の条件の元では既存の結果を即座に再現するという統一化の役割を持つ．さらに，既存研究では考えられてこなかったような条件下でも，意味のある新規のバウンドを導出することができる．本結果は論文として投稿準備中である．
最終年度のため，研究期間全体を通じての研究成果を説明する．第一の主結果として，パラメトリックなモデルをドメイン間で転移する状況における理論バウンドを導出した．特に特徴抽出器として複雑なパラメトリックモデルを取ることもでき，深層ニューラルネットやスパース符号化，多重カーネルを理論的に取り扱うことができるものである．第二の主結果として，同変性とよばれる代数的な性質を加味した場合のメタ学習器の普遍性を示した．同変性はデータ処理や自然界の過程で自然に現れる性質であり，同変的なニューラルアーキテクチャによる処理により学習を効率化させることができるという利点がある．第三の主結果として，冒頭の分解定理を導出した．従って転移学習の理論的な解析を推進するという本研究課題の目的を達成することができたと考えられる．
|
