2020 Fiscal Year Research-status Report
Project/Area Number |
20K19865
|
Research Institution | Kyushu Institute of Technology |
Principal Investigator |
石橋 英朗 九州工業大学, 大学院生命体工学研究科, 助教 (30838389)
|
Project Period (FY) |
2020-04-01 – 2022-03-31
|
Keywords | 情報幾何学 / 階層モデリング / マルチタスク学習 / ガウス過程 |
Outline of Annual Research Achievements |
本年度は情報幾何に基づいたベイズ事後分布集合の階層モデリングの学習理論構築について以下の研究を行った. (1) ガウス過程のようにベイズ事後分布のモデルパラメータが無限次元で潜在変数が伴わない指数型分布族集合の構造を定義し,ガウス過程集合の次元削減法を開発した.一般に分布のモデルパラメータが無限次元の場合は分布集合の構造を定義すること自体が難しいがベイズ推定された事後分布の集合がモデルパラメータが有限次元で双対平坦な空間として定義できることを示した.また,この定義に基づいて無限次元の空間上での線形次元削減と等価な有限次元空間上の線形次元削減法を構築できることも示した.さらに,数値実験では個別のタスクごとに学習するよりも提案手法が精度良く推定できることを示し,マルチタスク学習としても利用できることを実験的に示した. (2) モデルを推定するときにそれぞれのタスクごとのサンプルが非常に少ない場合でも精度良く推定できる実用的な非線形手法を開発した.この手法はカーネル平滑化によってタスク間でデータとモデルを知識転移することによって効率的なマルチタスク学習を実現している.特に提案手法は1タスクあたりのデータ数が2点しかなく学習が困難な場合であってもタスク数が十分に多ければ精度良く推定できることを実験的に示した.また,提案手法は潜在変数を伴わない場合,潜在変数を伴う場合のどちらにも利用可能であることも実験的に示した.
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の研究計画では(1)モデルパラメータが無限次元で潜在変数が伴わない指数型分布族集合の構造の定義と(2)実用的なアルゴリズムの開発を行う予定であった.今年度の実際の研究においてはどちらについても期待通りの結果を得ることができ,(1)については学術雑誌論文として投稿準備中である.また,(2)については学術雑誌論文として投稿済みであり現在査読中である. 以上より現在の進捗状況はおおむね順調に進展していると言える.
|
Strategy for Future Research Activity |
今後はこれまでの結果をまとめ学術雑誌論文へ投稿した後に,(1)モデルパラメータが無限次元で潜在変数が伴う指数型分布族集合の構造の定義と(2)より理論的かつ実用的な非線形手法の実現に主に取り組む.具体的には(1)はモデル間の距離を最適輸送距離として定義し,潜在変数間の対応をとることによって潜在変数を伴わない指数型分布族として帰着させられるかどうかを検討する.この時の具体的なアルゴリズムとして潜在変数を伴うガウス過程(Gaussian Process Latent Variable Model)の集合の次元削減法を構築できるかどうか検討する.(2)はカーネル平滑化を用いることで線形次元削減と同様に無限次元空間上での非線形次元削減と等価な有限次元空間上の非線形次元削減を構成できるかどうかを検討する. また研究が順調に進展した際は,(3)指数分布族以外の分布への拡張も考える.具体的にはreparametrization trickやnormalizing flow, スコアマッチングなどの方法を用いて指数分布族以外の事後分布集合の構造を構成できないかどうか検討する.
|
Causes of Carryover |
COVID-19の影響で出張する機会がなく,予定していた国際会議にも参加できなかったため.また,導入予定であった計算機を購入しなかったため次年度使用額が生じた. 次年度使用額は,今後の成果発表費用および今年度購入しなかった計算機の導入に用いる予定である.
|