2023 Fiscal Year Annual Research Report
統計力学的計算手法に基づくモデル選択規準の開発研究
| Project/Area Number |
22KJ1358
|
|---|
| Allocation Type | Multi-year Fund |
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
村山 一明 電気通信大学, 情報理工学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2024-03-31
|
| Keywords | 統計力学 / 相転移 / Bayes 推論 / モデル選択 / 機械学習 |
|---|
| Outline of Annual Research Achievements |
2021, 2022年度に引き続き, スパース推定の枠組みである Sparse Bayesian Learning (SBL) を利用した線形回帰モデルとそれに関連するモデルの性質を研究した. これまでに推定性能のデータ数依存性と事前分布に含まれるハイパーパラメーター依存性を漸近的に解析していた. 前年度は後者の依存性に関して, 一部のハイパーパラメーター領域で解析ができなかった. これは解析途中で直面する数値積分の困難に起因する. 2023年度は数値積分の改良を行い, より広範なハイパーパラメーター領域において推定性能を解析した. またSBLと類似の事前分布の構造をもつ variance gamma 事前分布を用いた場合の推定性能も解析した. 両者の事前分布には分布の伸縮を表すスケールパラメーターが含まれる. 両者の手法に関して推定性能のスケールパラメーター依存性を比較した. その結果 variance gamma 分布はSBLよりも推定誤差を下げられる場合があることを確認した.
研究期間全体を通じて, 統計力学的手法を用いて物理学の観点からSBLとその周辺のモデルを研究した. 得られた結果は推定性能などの性質と, (非線形)回帰分析に関するものに分けられる. 前者ではSBLの推定性能に関してデータ数とハイパーパラメーター依存性を漸近的に調べた. 推定誤差を小さくできる領域とできない領域が分かれており, 各領域内で推定誤差は頑強な傾向があることを確認した. また variance gamma 事前分布はSBLよりも推定誤差を小さくできる場合がある. 回帰分析ではSBLに関連する variance gamma 事前分布, 平均場近似, モデル選択を用いて, 推定するパラメーター数がデータ数より多い状況において過学習を回避する手法を提案した.
|
