2023 Fiscal Year Annual Research Report
Analysis of transfer learning based on information geometry
| Project/Area Number |
22H03653
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | The Institute of Statistical Mathematics |
|---|
Principal Investigator |
日野 英逸 統計数理研究所, 先端データサイエンス研究系, 教授 (10580079)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
藤木 淳 福岡大学, 理学部, 教授 (10357907)
赤穗 昭太郎 統計数理研究所, 大学統計教員育成センター, 特任教授 (40356340)
村田 昇 早稲田大学, 理工学術院, 教授 (60242038)
|
|---|
| Project Period (FY) |
2022-04-01 – 2027-03-31
|
| Keywords | 情報幾何学 / 機械学習 / 転移学習 |
|---|
| Outline of Annual Research Achievements |
学習データと運用データの分布が異なることは一般的であり，このギャップを埋めるために転移学習が不可欠である．転移元と転移先のデータ分布のギャップが大きい場合は転移学習は困難となるが，補助的に中間ドメインの情報が得られる状況がある．こうした状況は転移が「段階的に」生じるという仮定をしていることになり，「段階的ドメイン適応」の方法論が研究されている．2023年度は，マルチフィデリティ能動学習を応用した段階的ドメイン適応手法を開発し，論文を発表した．また，能動学習においてデータ分布の乖離度を測るダイバージェンスは重要な役割を果たすが，サンプル数が限られている能動学習の問題設定ではその推定が不安定になりうる．そこで，外れ値的なデータの混入にロバストなダイバージェンスを提案し，それを能動学習に応用した．本結果も論文を発表している．さらに，ソースドメインとターゲットドメイン間の大きな距離による予測性能の低下を克服するために，異なる次元のデータ間でドメイン適応を行うための最適輸送ベースの転移学習手法の研究に着手した．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
2023年度の研究計画として挙げた，マルチフィデリティとアクティブドメイン適応を組み合わせたフレームワークについては論文を発表することが出来た．その発展として，ソースドメインとターゲットドメインの間を生成モデルで結びつける新たな段階的ドメイン適応手法を研究し，論文投稿まで行うことが出来た．また，同じく2023年度の研究計画として挙げた，ターゲットドメインとソースドメインでデータの次元が異なる状況でのドメイン適応についても，両ドメインに共通の特徴とターゲットドメインの新しい特徴を考慮し，最適輸送問題としてドメイン適応を定式化する新しい方法論を開発し，理論的な解析を行い自明でない結果を得た．こうした計画に沿った成果の他にも，最適輸送理論に基づく因果推論に関する成果や，集合関数に対するBregman divergenceの定義に関する初期検討など，本研究課題に深く関連しつつ，当初の予定では想像していなかった意味のある問題を発掘し，解決の糸口を掴むことが出来た．
|
| Strategy for Future Research Activity |
昨年度に引き続き，主に転移学習を対象として情報幾何学的な解析からその理論と応用に関する研究を推し進める．また，昨年度発足させた情報幾何学的な課題についても積極的に研究を進め，幾何学的な観点からの転移学習の理解を深める．具体的には，集合関数上のBregman divergenceの定義と学習を離散凸解析の観点を含めて進めることと，新規変数が観測される状況での最適輸送理論に基づくドメイン適応の研究を中心に行う．
|
