2022 Fiscal Year Annual Research Report
Analysis of transfer learning based on information geometry
| Project/Area Number |
22H03653
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | The Institute of Statistical Mathematics |
|---|
Principal Investigator |
日野 英逸 統計数理研究所, モデリング研究系, 教授 (10580079)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
藤木 淳 福岡大学, 理学部, 教授 (10357907)
赤穗 昭太郎 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 上級主任研究員 (40356340)
村田 昇 早稲田大学, 理工学術院, 教授 (60242038)
|
|---|
| Project Period (FY) |
2022-04-01 – 2027-03-31
|
| Keywords | 転移学習 / 情報幾何 |
|---|
| Outline of Annual Research Achievements |
ドメイン適応において、ソースドメインとターゲットドメインの距離が大きい場合、予測性能が低下してしまう。このような問題を解決する方法として、ソースドメインからターゲットドメインへ徐々に移行する中間ドメインを利用する方法がある。これまでの研究では、中間領域のサンプル数が十分に多いことが前提となっていたため、ラベル付きデータを必要とせず自己学習が可能であった。しかし、アクセス可能な中間領域の数が制限されると、領域間の距離が大きくなり、自己学習がうまくいかなくなる。中間領域のサンプルのコストは現実的に様々であり、中間領域がターゲット領域に近いほど中間領域からのサンプルの取得コストが高くなると考えるのが自然である。コストと精度のトレードオフを解決するために、マルチフィデリティとアクティブドメイン適応を組み合わせたフレームワークを開発し、その有効性を、実世界のデータセットを用いた実験により評価した。
多くの機械学習手法は、学習データとテストデータが同じ分布に従うと仮定している。しかし、現実世界ではこの仮定が破られることが多い。特に、共変量シフトと呼ばれる、データの変化による限界分布は、機械学習における最も重要な研究テーマの1つである。よく知られた共変量シフト適応法のファミリーを、情報幾何学の枠組みで統一的に記述した。さらに、幾何学的に一般化された共変量シフト適応法のパラメータ探索が効率的に実現できることを示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
当初の計画の一つの柱であった，情報幾何学的な観点からの共変量シフトのためのアルゴリズムの統一的な解析の端緒を開くことができた．また，ソースドメインとターゲットドメインへのデータ分布の変動をモデル化するための第一歩として，段階的ドメイン適応の問題に取り組み，能動的かつmulti-fidelity的な問題設定における学習アルゴリズムを開発した．
開発技術の応用先として有望な地球科学分野における研究を並行で推進し，論文として成果を出すことができた．
|
| Strategy for Future Research Activity |
能動的段階的ドメイン適応の研究を通して，勾配流あるいはノーマライジングフローを用いた生成的段階的ドメイン適応の着想を得た．これを定式化・実装し，その性能解析と実験評価を行う．
引き続き地球科学及び脳神経科学の研究者と連携し，個別性の顕著な領域における転移学習技術の展開を検討する．
|
