2019 Fiscal Year Research-status Report
Theoretical Analysis of Transfer Learning and Its Applications
| Project/Area Number |
17K12653
|
|---|
| Research Institution | Institute of Physical and Chemical Research |
|---|
Principal Investigator |
熊谷 亘 国立研究開発法人理化学研究所, 革新知能統合研究センター, 研究員 (20747167)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 転移学習 / 機械学習 |
|---|
| Outline of Annual Research Achievements |
本年度は転移学習に関する理論的解析および実験での性能検証を行った．転移学習とは，元ドメインと呼ばれるあるデータドメインで学習した知識を，目標ドメインと呼ばれる他のデータドメイン での学習に役立てる手法である．
まず，前年に引き続きパラメータ転移学習の理論的な解析を行った．申請者が導出していた既存の汎化誤差の評価よりも改善した結果が得られ，その結果は実験と合わせて論文として出版された．また，転移学習と能動的学習の組み合わせに関する理論解析を行った．転移学習では，元ドメインと目標ドメインと呼ばれる異なる確率分布を持つデータドメインが現れるが，従来はそこで得られるデータは受動的に生成されるものであった．本研究ではどちらか，もしくは双方のドメインでデータにラベルを能動的につけることができると仮定し，転移学習の解析手法に基づいて能動学習を行うアルゴリズムを構築した．さらに，継続学習と呼ばれる転移学習を複数回行う問題設定において，非もつれ表現と記憶機構を融合したアルゴリズムを構成した．
また，教師なし学習の文脈において転移学習の有効性を実験で検証した．具体的には，新たなクラスタリングアルゴリズムを提案し，そのハイパーパラメータの調整を転移学習を用いて行った．これにより，似たクラスタリングタスクにおいて事前に学習を行っておけば，そのハイパーパラメータの転移が有効に働くことが確認できた．提案したクラスタリングアルゴリズムと，転移学習を用いた実験結果は論文として出版された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
昨年度まで行っていた理論研究はより改善および整理され論文として発表された．また能動学習との組み合わせに関する新たな結果が得られてきている．さらに，教師なし学習での転移学習の有効性を実験によって確認できた．
|
| Strategy for Future Research Activity |
能動学習と転移学習の組み合わせに関する理論解析を行う．既存の教師なし転移学習よりも，能動的転移学習のほうが，より自然な問題設定であり，性能も高いことを示す．また，継続学習に関しては構成したアルゴリズムの理論保証がないので，そのための解析を行う．
|
| Causes of Carryover |
必要なもののみを購入したら余ったため．
|
