2018 Fiscal Year Research-status Report
Theoretical Analysis of Transfer Learning and Its Applications
| Project/Area Number |
17K12653
|
|---|
| Research Institution | Institute of Physical and Chemical Research |
|---|
Principal Investigator |
熊谷 亘 国立研究開発法人理化学研究所, 革新知能統合研究センター, 研究員 (20747167)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 転移学習 / 機械学習 |
|---|
| Outline of Annual Research Achievements |
今年度はインスタンス転移アプローチを用いた転移学習の理論解析に取り組んだ．
転移学習の重要な目的の一つとして，元ドメインのデータを利用して目標ドメインにおける期待リスクを減少させ，精度の良い予測を行うことが挙げられる．本研究では教師なし転移学習の設定において，目標ドメインの期待リスクの上界評価を与えた．具体的には，Kantorovich-Rubinstein双対性を用いることで両ドメインの期待リスクの差を両ドメインの結合分布間のWasserstein距離で上から評価した．さらにその結合分布間のWasserstein距離を，周辺分布間のWasserstein距離と条件付き分布のWasserstein距離の和で上から評価できることを示した．これは数学的な定理としての新規性のある結果である．
上記の結果は既存の最適輸送を応用した研究にはない利点を持つ．既存研究でも Wasserstein距離を用いた期待リスクの上界評価は得られていた．しかし，その不等式では両ドメインの分布が一致する最も簡単な状況においてすらタイトではない不等式であった．一方で本研究において得られた不等式は，定理が成り立つための仮定が既存研究より弱いにもかかわらず，よりタイトな結果を達成しており，特に両ドメインの分布が一致する場合には等式になる．またインスタンス転移アプローチにおける手法としてImportance Weightingに基づくアルゴリズム群が有名であるが，それらの性能を理論的に保証するためには共変量シフトと両ドメインの分布間の絶対連続性が仮定されていた．一方で，本研究の結果が成り立つためには，それらの仮定は不要であり，広い範囲で成り立つ理論的評価であると言える．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
転移学習の理論的背景についての理解が深まり，意味のある新たな定理を証明することができた．また数学における最適輸送理論とのつながりがより明確になった．
|
| Strategy for Future Research Activity |
現在までは転移学習において元ドメイン数が1つの場合のみを扱ってきた．今後はこれらの結果を多ドメインへ拡張することを考える．現実的な問題設定ではしばしば元ドメインの数が複数あるので，そのような状況での理論解析を進める．特に複数のドメインがある場合の組み合わせや，良いドメインの選択方法などにも着目する．
|
| Causes of Carryover |
2018年度に必要な物品等はすでに購入しており，無理に使用しなかったため．2019年度は研究関連の書籍が発売される予定なので，次年度使用額はそれらを購入するために用いる．
|
