2023 Fiscal Year Annual Research Report
Information Criterion WBIC and its improvement
| Project/Area Number |
21K12025
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
渡邊 澄夫 東京工業大学, 情報理工学院, 教授 (80273118)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | WBIC / 自由エネルギー / 特異モデル / 実対数閾値 |
|---|
| Outline of Annual Research Achievements |
本課題では、情報量規準WBICの高精度化の研究を行った。統計学および学習理論において、サンプル・確率モデル・事前分布が与えられたときに定義される量として周辺尤度があり、マイナス対数周辺尤度のことを自由エネルギー（あるいは確率的複雑さまたはベイズ符号長）という。自由エネルギーの平均値が小さいことは、モデルと事前分布から定義されるサンプルの同時分布とデータを生成した未知の同時分布とのカルバック・ライブラ情報量が小さいことと等価であることから、モデルと事前分布の適切さを調べるために自由エネルギーの値を求める方法が望まれてるが、自由エネルギーの定義中に現れるパラメータ集合上の積分を数値的に行うためには大きな演算量が必要になることが知られていた。情報量規準WBICは、特異学習理論に基づいて事後分布が正規分布で近似できない場合においても自由エネルギーの近似計算法を与えるものである。
2023年度までの研究により、以下の研究成果が得られた。(1)自由エネルギーについて、サンプルが交換可能であれば独立同分布でなくても、独立であるときと同じ漸近挙動を持つことを明らかにした。ただしその場合には、データ生成分布自体が固定ではなく関数空間に値を取る確率変数である。(2)ReLU関数を活性化関数として持つ畳み込み神経回路網においてスキップ接続を持つ場合と持たない場合における自由エネルギーの漸近挙動の相違を明らかにし、スキップ接続の汎化性能における優位性を数量的に明らかにした。(3) モデル候補の中にデータ生成分布と一致するものが存在しない場合における汎化誤差と自由エネルギーの一般的な挙動の相違を明らかにし、自由エネルギーの最小化と汎化誤差の最小化は等価ではなく、相転移の近傍においてはそれらの相違が大きくなることを明らかにした。
|
