2021 Fiscal Year Research-status Report
Information Criterion WBIC and its improvement
| Project/Area Number |
21K12025
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
渡邊 澄夫 東京工業大学, 情報理工学院, 教授 (80273118)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 実対数閾値 / WAIC / WBIC / 汎化誤差 / 自由エネルギー |
|---|
| Outline of Annual Research Achievements |
統計的推測において、与えられたデータに対して統計モデルと事前分布の適切さを測る指標のひとつに自由エネルギー（対数周辺尤度の符号反転）がある。自由エネルギーが小さいほど、データ生成分布の周辺確率密度関数と推定された周辺確率密度関数のカルバック・ライブラ距離が平均的に小さくなるので、この最小化を用いて複数の統計モデリングの比較を行うことができるが、その値の算出には一般に膨大な演算量を必要とすることが知られている。この問題を解決するために統計モデルが正則であっても特異であっても自由エネルギーの近似に利用できる広く使えるベイズ情報量規準 WBIC が考案されている。
本研究では情報量規準 WBIC の高精度化を行うことを目標とする。初年度においては次のことを解明した。(1) WBIC の漸近挙動を定めている双有理不変量として実対数閾値がある。混合多項分布の実対数閾値を解明し、事前分布のハイパーパラメータにより相転移を持つことを明らかにした。(2) 縮小ランク回帰モデルにおいて入力の分布が超平面上にあるときの汎化誤差と自由エネルギーの挙動を解明し、その値が入力の見かけの次元には依存しないことを導出した。(3) 回帰関数を推定する問題において、データが独立ではなく、条件つき独立であるときに情報量規準とクロスバリデーションが等価にならない場合があることを明らかにした。
またこれらの研究成果だけでなく、これまでの研究成果を社会全般に還元し広範な用途に役立てるための解説論文の公開も行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
以下が理由である。(1) WBIC の漸近挙動を定めている実対数閾値について、混合多項分布の実対数閾値を解明し、事前分布のハイパーパラメータの変化によって相転移を持つことを示した。(2) 縮小ランク回帰モデルにおいて入力分布が超平面上にあるときの汎化誤差と自由エネルギーの挙動を解明した。実対数閾値は、入力の見かけの次元には依存しないことを明らかにした。(3) 回帰関数の推定において、データが独立ではなく条件つき独立であるときに情報量規準とクロスバリデーションが等価にならない場合があることを示し、データが独立でない場合には情報量規準により汎化損失が推定できることを示した。
|
| Strategy for Future Research Activity |
自由エネルギーの漸近挙動を定めている実対数閾値について、いくつかのモデルの解明がなされるようになっているので、今後は理論的な研究成果と数値計算法とを援用して、与えられたデータと統計モデルに対して実対数閾値を求める方法を構成し、これを基盤として WBIC の高精度化をおこなっていく。
|
