2017 Fiscal Year Research-status Report
Theoretical Analysis of Transfer Learning and Its Applications
| Project/Area Number |
17K12653
|
|---|
| Research Institution | Institute of Physical and Chemical Research |
|---|
Principal Investigator |
熊谷 亘 国立研究開発法人理化学研究所, 革新知能統合研究センター, 研究員 (20747167)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 転移学習 / 機械学習 / 汎化誤差 / 特徴抽出 |
|---|
| Outline of Annual Research Achievements |
本研究では主に，転移学習と呼ばれる分野に関する理論的解析を行った．転移学習とはあるデータドメイン(元ドメイン)で学習した知識を，他のデータドメイン(目標ドメイン)での学習に役立てる手法である．本研究では元ドメインと目標ドメインにパラメトリックなモデルを仮定し，元ドメインで学習したパラメータを目標ドメインへ転移するパラメータ転移と呼ばれる手法に着目した．
ここでは特に，両ドメインにパラメトリックな特徴写像を考え、そのパラメータを転移する場合に着目した．そしてパラメトリックな特徴写像に対し，局所安定性および転移学習可能性という新たな概念を導入した．ここで局所安定性とは，特徴写像のパラメータの局所的な変動に対し，特徴写像の出力が急激には変化しないという条件である．また転移学習可能性とは，元ドメインにおける特徴写像の最適なパラメータの推定が十分な近似精度をもっていることを表す条件である．
さらに，それらの概念に基づき汎化性能を理論的に評価した．本成果は自己教示学習と呼ばれる，理論的にはほとんど解析されてこなかった問題設定に対しても適応できるという利点がある．パラメトリックな特徴写像として具体的には，深層ニューラルネットワーク，スパース符号化，多重カーネルなどをとることができ，様々な状況へ応用することができる．応用例として，スパース符号化に基づいた自己教示学習の設定をより詳細に理論解析し数値実験を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
昨年度も一部，類似の理論解析を行っていたが，そこで得られた汎化誤差の評価の導出では，理想的な仮定を置いていた．一方で，本年度は仮定をより自然な形に弱めることができた．さらに数値実験を行うことで，理論が実際の現象を記述することを確認できた．またこれらの結果をまとめて論文を投稿し，３件の研究発表を行った．
|
| Strategy for Future Research Activity |
今後はより一般的な転移学習の設定において理論解析を行う予定である．具体的にはドメイン間のデータ空間が異なっているような変異的な状況を扱う．さらに元ドメインが一つだけではないマルチドメインの状況を扱う．また，理論的結果が実際のデータで成り立つかを検証する．
|
| Causes of Carryover |
今年度から現所属機関へ移動したが，現所属機関から支給される研究費が加算されたため，その分だけ科研費からの支出が予定よりも減少した．来年度は，出張や論文の掲載等にかかる費用が申請時の予定より増える見込みであるため，今年度分の科研費の残額を来年度に使用することを計画している．
|
