2022 Fiscal Year Annual Research Report
統計力学的計算手法に基づくモデル選択規準の開発研究
| Project/Area Number |
21J22128
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
村山 一明 電気通信大学, 情報理工学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2021-04-28 – 2024-03-31
|
| Keywords | 統計力学 / 相転移 / Bayes 推論 / モデル選択 / 機械学習 |
|---|
| Outline of Annual Research Achievements |
統計力学的手法を用いて, 物理学の観点から統計モデルの性質を研究した. 研究対象は2021年度に引き続き, スパース推定の枠組みである Sparse Bayesian Learning (SBL) を伴う線形回帰モデルとした. かねてよりSBLの線形回帰モデルの推定性能に関して, その漸近的振る舞いを解析している. これまでに推定性能のデータ数依存性に関しては大まかな性質を捉えている.
2022年度はさらに, SBLの階層的事前分布に含まれるハイパーパラメータの値が推定性能にどのような影響を与えるかについて解析に取り組んだ. その結果推定誤差を小さくするハイパーパラメータの領域と, 誤差を大きくする領域が明確に分かれているような振る舞いを観測した. この結果を関連研究と比較したところ, 誤差を分ける境界線が存在する可能性については共通した. しかしながら誤差が小さいハイパーパラメータ領域の位置など, 関連研究と一見相反するような側面もあるため議論を重ねる必要がある. また今回の解析ではいくつかのハイパーパラメータの領域において, 推定誤差を解析することは困難であった. この問題に関しては解析途中で直面する, 事前分布を被積分関数の一部として含む積分の数値的処理方法に改善の余地がある. 誤差の解析が困難であったハイパーパラメータの領域では事前分布の形状が急峻に, あるいは平坦になることを確認している. このような場合上述の積分に対する数値積分の精度が低下し, 推定誤差の解析に困難をきたすと考えている.
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
上記に関して, 数値積分を精度よく処理することに時間を要している. 以上の理由から, やや遅れていると判断する.
|
| Strategy for Future Research Activity |
2022年度の成果を踏まえて引き続き, SBLを伴う回帰モデルの性質を統計力学的解析により研究する. 直近の主要な計画は上記の数値積分の精度良い処理を実現させ, 2022年度では解析困難であったハイパーパラメータ領域での推定誤差を解析することである. 具体的には積分区間や標本点の取り方を被積分関数に合わせて模索する. 数値積分を首尾よく処理し, 広範なハイパーパラメータ領域における推定性能を明らかにできた場合, SBL 周辺のスパース推定法のモデルに対しても解析対象を拡大させることを計画している.
|
