2022 Fiscal Year Research-status Report
Meta-modeling method for a set of energy-based models
| Project/Area Number |
22K17951
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
石橋 英朗 九州工業大学, 大学院生命体工学研究科, 助教 (30838389)
|
|---|
| Project Period (FY) |
2022-04-01 – 2024-03-31
|
| Keywords | メタモデリング / スコアマッチング / Energy-based model / 情報幾何学 / メタ学習 / マルチタスク学習 |
|---|
| Outline of Annual Research Achievements |
本年度ではまず（1）スコアマッチングに基づいた任意の指数型分布族集合に対するメタモデリングのアルゴリズム開発をおこなった．これにより正規化が容易なガウス分布や多値分布のような標準的な分布だけでなく，正規化が困難な指数型分布族も含めて統一的に扱えるメタモデリングを可能にした．特に，開発したアルゴリズムは各パラメータの目的関数が２次形式で表すことができるため，様々な学習タスクやモデルを幅広く表現できる柔軟性と学習の安定性の両立を可能にした．次に（2）スコアマッチングベースのメタモデリング法を無限次元の指数型分布族へ拡張し，さらにその高速化も実現した．これによって，ノンパラメトリックな分布のマルチタスク学習やfew shot learningも可能にした．さらに（３）デノイジングスコアマッチングに基づいたメタモデリング法の開発も行った．これにより，入力空間が高次元の場合に自動微分を用いても高速に計算ができる指数分布族集合のメタモデリングを実現し，事前学習済みのニューラルネットワークを十分統計量とする指数型分布族集合のメタモデリングが可能となった． 従って，事前学習済みである必要はあるものの深層学習やノンパラメトリックな分布も含む幅広い確率モデルに対して統一的に適用可能なメタモデリング法を実現することができた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
開発したアルゴリズムは指数型分布族に限定されるものの，無限次元の指数型分布族や事前学習済みの深層学習などの幅広い確率モデルを統一的に扱うことができるため広範囲に適用可能なメタモデリング法を開発するという点においておおむね目的は達成できたといえる．特に，発展課題として設定していた無限次元の指数型分布族集合のメタモデリングも達成できたため，この点においては計画以上の進展だったといえる．一方で，情報幾何学に基づいたEBM集合の構造の定義については大きな進展はないため全体としてはおおむね順調であると判断した．
|
| Strategy for Future Research Activity |
まずはここまでの成果を発表することを最優先とし，それが終わり次第以下について取り組む．
(1)メタモデリング法を潜在変数が伴わない場合や事前学習されていない深層学習へ拡張．開発したメタモデリング法は潜在変数が伴わない場合に限定されており，潜在変数が伴う場合や事前学習されていない深層学習への拡張はまだできていないためこれに取り組む．
(2)情報幾何学の観点で双対なメタモデリング法の開発．開発したメタモデリング法は自然パラメータを座標系とする方法であり，情報幾何学の観点で双対な期待値パラメータを座標系とするメタモデリング法も考えられるため，この開発にも取り組む．
(3) 情報幾何学に基づいたEBM集合の構造の定義．情報幾何学の考え方を基に一般にメタモデリングを考える際に適切なEBM集合の構造を明らかにすることを目指す．
|
| Causes of Carryover |
本年度では深層学習のような大規模な計算を必要とする実験を行う必要がなくPCやその周辺機器を購入しなかったため，支出が生じなかった．また，国際会議等の旅費については参加する国際会議が2023年度に行われたため2022年度では支出が生じなかった．
次年度では深層学習を用いた大規模な計算を行うためにPC，周辺機器を購入する予定であるためそれにあてる．また，2022年度に投稿した国際会議の旅費としても支出予定である．
|
Research Products
(1 results)
