2021 Fiscal Year Annual Research Report
統計力学的計算手法に基づくモデル選択規準の開発研究
| Project/Area Number |
21J22128
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
村山 一明 電気通信大学, 情報理工学研究科, 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2021-04-28 – 2024-03-31
|
| Keywords | 統計力学 / 相転移 / Bayes 推論 / モデル選択 / 機械学習 |
|---|
| Outline of Annual Research Achievements |
統計力学的計算手法を駆使し, 物理学の観点から統計モデルの性質を研究した. 2021年度は以下の成果を得た.
(1) Bayes 推論で観測される相転移と思しき推定性能の急変に対し, 物理的性質を追究した. モデルはスパース推定の枠組みである Sparse Bayesian Learning (SBL) を利用した線形回帰モデルとした. このようなモデルを統計力学的に解析するために, 周辺尤度を分配関数に対応させた解析が従来行われている. さらに近年はデータ数に基づく逆温度の対応表現も提案された. 今回は後者の対応を意識的に導入し, 自由エネルギーに相当する量を計算した. さらに内部エネルギーやエントロピーに相当する状態量を計算した. その結果, 自由エネルギーと状態量の温度依存性を通して, SBL の線形回帰に関する相転移をある程度説明できることを確認した. ただし本結果は限られた問題設定の範囲内で得たことに注意する. その他の統計モデルで同様の解析が可能かについて, 現時点では明らかではない. 以上の成果は物理学の立場から統計モデルの性質を解析したものであり, 直ちにデータ解析に貢献する訳ではない. 一方統計推論の立場から, 実践的なデータ解析に貢献する成果も得た.
(2) SBL に基づく回帰分析において, 推定するパラメータ数がデータ数より多い状況においても過学習を回避する手法を開発した. 本手法はあえて共役ではない事前分布を導入する方針で開発された. この場合, 事後分布の導出及び推論が困難となる. そこで統計力学の平均場近似を駆使し, 近似的な事後分布を構成した. さらに事前分布の調整パラメータを選択するために, パラメータ数がデータ数より多い状況を考慮したモデル選択規準を開発した. 本研究成果は学術誌へ採録され, さらに対応するプログラムを一般公開した.
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
上記 (1) に関して, 学会発表を行い学術誌への投稿準備中である. 上記 (2) については学術誌へ採録され, 対応するプログラムを一般公開した. 以上の理由から, おおむね順調に進展していると判断する.
|
| Strategy for Future Research Activity |
2021年度の成果を踏まえ, 引き続き統計モデルの性質を統計力学的解析により研究する. より具体的は以下の推進方策がある.
(a) 上記 (1) で言及したデータによる温度の表現方法に関して, 理論的側面を研究する. この表現を統計力学の枠組みで採用して良いのであれば, 統計モデルとその推論における振る舞いを, 物理学の観点から豊かに説明できる期待がある.
(b) 上記 (1) のような解析を様々な統計モデルに適用する. 例えば SBL 周辺のスパース推定を伴うモデルまで解析対象を拡大させることを試みる. さらに回帰分析を扱うモデルだけではなく, データを分類する課題を処理する統計モデルの解析も検討する.
|
| Remarks |
一般公開したソースコード.
Kazuaki Murayama, Sparse Bayesian Learning with Weakly Informative Hyperprior and Extended Predictive Information Criterion [Source Code]. https://doi.org/10.24433/CO.6761210.v1
|
