Meta-modeling method for a set of energy-based models
| Project/Area Number |
22K17951
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
石橋 英朗 九州工業大学, 大学院生命体工学研究科, 助教 (30838389)
|
|---|
| Project Period (FY) |
2022-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | メタモデリング / スコアマッチング / Energy-based model / 情報幾何学 / メタ学習 / マルチタスク学習 |
|---|
| Outline of Research at the Start |
本研究では複数の類似する経験を通して得られた知識からそれらの知識に共通するより普遍的な知識を推定するメタモデリング法の学習理論を構築することを目指す．本研究の特色はEnergy-based model (EBM)集合のメタモデリング法の理論を構築することで，それぞれの経験を知識としてモデル化するモデリング法に依存しないユニバーサルなメタモデリングの学習理論構築を目指す点である．これにより既存のモデリング法のメタモデリングができるようになるだけでなく，データに合わせてシームレスに適切なメタモデリングを選択できるようになる．
|
| Outline of Annual Research Achievements |
本年度ではまず（1）スコアマッチングに基づいた任意の指数型分布族集合に対するメタモデリングのアルゴリズム開発をおこなった．これにより正規化が容易なガウス分布や多値分布のような標準的な分布だけでなく，正規化が困難な指数型分布族も含めて統一的に扱えるメタモデリングを可能にした．特に，開発したアルゴリズムは各パラメータの目的関数が２次形式で表すことができるため，様々な学習タスクやモデルを幅広く表現できる柔軟性と学習の安定性の両立を可能にした．次に（2）スコアマッチングベースのメタモデリング法を無限次元の指数型分布族へ拡張し，さらにその高速化も実現した．これによって，ノンパラメトリックな分布のマルチタスク学習やfew shot learningも可能にした．さらに（３）デノイジングスコアマッチングに基づいたメタモデリング法の開発も行った．これにより，入力空間が高次元の場合に自動微分を用いても高速に計算ができる指数分布族集合のメタモデリングを実現し，事前学習済みのニューラルネットワークを十分統計量とする指数型分布族集合のメタモデリングが可能となった． 従って，事前学習済みである必要はあるものの深層学習やノンパラメトリックな分布も含む幅広い確率モデルに対して統一的に適用可能なメタモデリング法を実現することができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
開発したアルゴリズムは指数型分布族に限定されるものの，無限次元の指数型分布族や事前学習済みの深層学習などの幅広い確率モデルを統一的に扱うことができるため広範囲に適用可能なメタモデリング法を開発するという点においておおむね目的は達成できたといえる．特に，発展課題として設定していた無限次元の指数型分布族集合のメタモデリングも達成できたため，この点においては計画以上の進展だったといえる．一方で，情報幾何学に基づいたEBM集合の構造の定義については大きな進展はないため全体としてはおおむね順調であると判断した．
|
| Strategy for Future Research Activity |
まずはここまでの成果を発表することを最優先とし，それが終わり次第以下について取り組む．
(1)メタモデリング法を潜在変数が伴わない場合や事前学習されていない深層学習へ拡張．開発したメタモデリング法は潜在変数が伴わない場合に限定されており，潜在変数が伴う場合や事前学習されていない深層学習への拡張はまだできていないためこれに取り組む．
(2)情報幾何学の観点で双対なメタモデリング法の開発．開発したメタモデリング法は自然パラメータを座標系とする方法であり，情報幾何学の観点で双対な期待値パラメータを座標系とするメタモデリング法も考えられるため，この開発にも取り組む．
(3) 情報幾何学に基づいたEBM集合の構造の定義．情報幾何学の考え方を基に一般にメタモデリングを考える際に適切なEBM集合の構造を明らかにすることを目指す．
|
Report
(1 results)
Research Products
(1 results)
