研究課題
本研究課題は統計学および機械学習において自由エネルギーと汎化損失を基づいてモデルや事前分布を評価する方法の相違を解明することが目的である。2018年度には次の二つの研究成果が得られた。(1)自由エネルギーはベイズ法を用いた仮説検定の最強検定を与える統計量であるが、帰無仮説が対立仮説の特異点に相当するときの定数部の漸近挙動は解明されていなかったため統計的検定に応用することができなかった。本研究では混合正規分布において１個の正規分布を帰無仮説とし２個の正規分布の混合を対立仮説とする検定においてその定数オーダーの部分が従う確率分布を導出し、統計的検定の基礎を構成した。(2)一般にサンプルから汎化損失を推定するための方法としてクロスバリデーションと情報量規準があるが、事前分布のハイパーパラメータを変化させたときのそれらの量の挙動はデータの数をnとするとき高次のオーダーであり、nの二乗に反比例するため正則な場合においても理論的な解明がなされていなかった。本研究では、ハイパーパラメータを変化させたときの汎化損失・クロスバリデーション・情報量規準WAICの挙動を正則な場合に理論的に考察し、高次のオーダーを与える公式を導出した。その結果、平均値については高次のオーダーにおいても３つの量が等価であることが解明された。また確率変数としてクロスバリデーションと情報量規準WAICが等価であることも解明された。さらにクロスバリデーションと情報量規準WAICを最小化するハイパーパラメータは平均汎化損失を最小にするパラメータに収束するが、平均汎化損失を最小化するハイパーパラメータは確率変数としての汎化損失を最小化する値に収束するとは限らないことが解明された。数値実験によりハイパーパラメータを最適化する際には情報量規準WAICのほうがクロスバリデーションよりも分散が小さいことが多いことを確認した。
2: おおむね順調に進展している
混合正規分布の検定に使われる自由エネルギーの定数オーダーの確率変数の挙動が解明できた。また正則な場合に、また汎化損失、クロスバリデーション、情報量規準WAICがハイパーパラメータの関数としての挙動が解析でき、ハイパーパラメータを最適化することで生じる現象が解明できた。
自由エネルギーの定数部が従う確率分布について、さらに詳しい解析をすすめる。汎化損失、クロスバリデーション、情報量規準WAICについてこれまでに解析されてこなかった統計モデルや機械学習のモデルへの応用を検討する。
すべて 2018 その他
すべて 雑誌論文 (1件) (うち査読あり 1件) 学会発表 (1件) 図書 (1件) 備考 (1件)
Springer Proceedings in Mathematics and Statistics
巻: 25210.1007/978-3-319-97798-0 ページ: pp.47-73
10.1007/978-3-319-97798-02
http://watanabe-www.math.dis.titech.ac.jp/users/swatanab/index-j.html
