Analysis of transfer learning based on information geometry
Project/Area Number |
22H03653
|
Research Category |
Grant-in-Aid for Scientific Research (B)
|
Allocation Type | Single-year Grants |
Section | 一般 |
Review Section |
Basic Section 61030:Intelligent informatics-related
|
Research Institution | The Institute of Statistical Mathematics |
Principal Investigator |
日野 英逸 統計数理研究所, モデリング研究系, 教授 (10580079)
|
Co-Investigator(Kenkyū-buntansha) |
藤木 淳 福岡大学, 理学部, 教授 (10357907)
赤穗 昭太郎 統計数理研究所, 大学統計教員育成センター, 特任教授 (40356340)
村田 昇 早稲田大学, 理工学術院, 教授 (60242038)
|
Project Period (FY) |
2022-04-01 – 2027-03-31
|
Project Status |
Granted (Fiscal Year 2023)
|
Budget Amount *help |
¥16,510,000 (Direct Cost: ¥12,700,000、Indirect Cost: ¥3,810,000)
Fiscal Year 2023: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
Keywords | 情報幾何学 / 機械学習 / 転移学習 / 情報幾何 |
Outline of Research at the Start |
機械学習により予測モデルを学習する際に利用できるデータと,運用時のデータの性質が異なる状況は,例えばある地域でのデータで学習して他の地域での予測を行う時や,過去のデータを用いて将来の予測をするという問題設定で普遍的に生じうるものであり,機械学習の実世界利用においては避けて通れない.本研究は,分布シフト手法の情報幾何的解析,勾配流によるターゲットドメインデータ拡張と学習可能性,地域性・個別性の顕著な領域への機械学習の応用,という3つの課題に取り組み,幾何学的視点を通した転移学習問題の統一的表現と,それによる現状の手法の問題点の明確化,その問題点を克服する新規手法の開発を目的とするものである.
|
Outline of Annual Research Achievements |
ドメイン適応において、ソースドメインとターゲットドメインの距離が大きい場合、予測性能が低下してしまう。このような問題を解決する方法として、ソースドメインからターゲットドメインへ徐々に移行する中間ドメインを利用する方法がある。これまでの研究では、中間領域のサンプル数が十分に多いことが前提となっていたため、ラベル付きデータを必要とせず自己学習が可能であった。しかし、アクセス可能な中間領域の数が制限されると、領域間の距離が大きくなり、自己学習がうまくいかなくなる。中間領域のサンプルのコストは現実的に様々であり、中間領域がターゲット領域に近いほど中間領域からのサンプルの取得コストが高くなると考えるのが自然である。コストと精度のトレードオフを解決するために、マルチフィデリティとアクティブドメイン適応を組み合わせたフレームワークを開発し、その有効性を、実世界のデータセットを用いた実験により評価した。 多くの機械学習手法は、学習データとテストデータが同じ分布に従うと仮定している。しかし、現実世界ではこの仮定が破られることが多い。特に、共変量シフトと呼ばれる、データの変化による限界分布は、機械学習における最も重要な研究テーマの1つである。よく知られた共変量シフト適応法のファミリーを、情報幾何学の枠組みで統一的に記述した。さらに、幾何学的に一般化された共変量シフト適応法のパラメータ探索が効率的に実現できることを示した。
|
Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
当初の計画の一つの柱であった,情報幾何学的な観点からの共変量シフトのためのアルゴリズムの統一的な解析の端緒を開くことができた.また,ソースドメインとターゲットドメインへのデータ分布の変動をモデル化するための第一歩として,段階的ドメイン適応の問題に取り組み,能動的かつmulti-fidelity的な問題設定における学習アルゴリズムを開発した. 開発技術の応用先として有望な地球科学分野における研究を並行で推進し,論文として成果を出すことができた.
|
Strategy for Future Research Activity |
能動的段階的ドメイン適応の研究を通して,勾配流あるいはノーマライジングフローを用いた生成的段階的ドメイン適応の着想を得た.これを定式化・実装し,その性能解析と実験評価を行う. 引き続き地球科学及び脳神経科学の研究者と連携し,個別性の顕著な領域における転移学習技術の展開を検討する.
|
Report
(1 results)
Research Products
(8 results)