2019 Fiscal Year Annual Research Report
Difference between marginal likelihood and generalization error as statistical model evaluation based on algebraic geometry and structure learning theory
| Project/Area Number |
15K00331
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
渡邊 澄夫 東京工業大学, 情報理工学院, 教授 (80273118)
|
|---|
| Project Period (FY) |
2015-04-01 – 2020-03-31
|
| Keywords | 汎化誤差 / 自由エネルギー / 実対数閾値 / 漸近挙動 / ゼータ関数 |
|---|
| Outline of Annual Research Achievements |
ベイズ法を用いた統計的学習において、汎化誤差と自由エネルギーの漸近挙動は、事後分布が正規分布で近似できない場合においても、真の分布、統計モデル、事前分布から定まる実対数閾値により与えられることが知られているが、実対数閾値を知るためには、真の分布と統計モデルにより定義されるカルバック/ライブラ情報量によって定義されるゼータ関数の最大極を見出す必要がある。2019年度の研究においては、トピックモデル、混合多項分布、およびSwish関数を活性化関数として用いた階層的神経回路網における実対数閾値を求めることにより、それらの統計モデルの漸近挙動を解明した。また、真の分布と統計モデルのカルバック・ライブラ情報量を最小化するパラメータが複数あり、それぞれのパラメータに対応する確率分布が同じでないときの自由エネルギーと汎化誤差の漸近挙動を導出した。それぞれの研究の詳細は次の通りである。(1)トピックモデルと確率行列分解は等しい実対数閾値を持つこと、および、確率行列の分解の実対数閾値についてはすでにその上界が知られていることから、トピックモデルの実対数閾値についても上界を得ることができた。(2)混合多項分布についてカルバック・ライブラ情報量の特異点解消を与えることにより実対数閾値の厳密値を得ることができた。(3)Swish関数を活性化関数に持つ階層型神経回路網について活性化関数のテーラー展開を用いて実対数閾値の上界を得ることができた。(4)カルバック・ライブラ情報量を最小化するパラメータが複数存在して対応する確率分布が一致しないときに、自由エネルギーと汎化誤差はそうでない場合とは異なる漸近挙動を持つことを示すことができた。以上の研究は統計的学習における情報量規準の挙動の解析を行う場合の数学的な基礎研究として役立つことが期待されている。
|
