Information Criterion WBIC and its improvement
| Project/Area Number |
21K12025
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
渡邊 澄夫 東京工業大学, 情報理工学院, 教授 (80273118)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2023: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2022: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2021: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
|
|---|
| Keywords | WBIC / 自由エネルギー / 特異モデル / 実対数閾値 / 調整された交差検証 / 調整された情報量規準 / WAIC / 汎化誤差 / 特異学習理論 / 代数幾何 |
|---|
| Outline of Research at the Start |
データサイエンスや機械学習を現実の世界の課題に適用しようとするとき、未知の分布に対して確率モデルや事前分布が適切であるかどうかを確かめるための方法が必要になる。その際にしばしば用いられる規準が汎化損失と自由エネルギーである。本研究では、主として自由エネルギーの計算法を研究し、データが独立でなくても精度よく推定値を求める方法を構成する。汎化損失を推定するための基準WAIC1が世界中で広くい用いられているように、本研究の成果もそのようになることが目標である。
|
| Outline of Annual Research Achievements |
本課題では、情報量規準WBICの高精度化の研究を行った。統計学および学習理論において、サンプル・確率モデル・事前分布が与えられたときに定義される量として周辺尤度があり、マイナス対数周辺尤度のことを自由エネルギー（あるいは確率的複雑さまたはベイズ符号長）という。自由エネルギーの平均値が小さいことは、モデルと事前分布から定義されるサンプルの同時分布とデータを生成した未知の同時分布とのカルバック・ライブラ情報量が小さいことと等価であることから、モデルと事前分布の適切さを調べるために自由エネルギーの値を求める方法が望まれてるが、自由エネルギーの定義中に現れるパラメータ集合上の積分を数値的に行うためには大きな演算量が必要になることが知られていた。情報量規準WBICは、特異学習理論に基づいて事後分布が正規分布で近似できない場合においても自由エネルギーの近似計算法を与えるものである。
2023年度までの研究により、以下の研究成果が得られた。(1)自由エネルギーについて、サンプルが交換可能であれば独立同分布でなくても、独立であるときと同じ漸近挙動を持つことを明らかにした。ただしその場合には、データ生成分布自体が固定ではなく関数空間に値を取る確率変数である。(2)ReLU関数を活性化関数として持つ畳み込み神経回路網においてスキップ接続を持つ場合と持たない場合における自由エネルギーの漸近挙動の相違を明らかにし、スキップ接続の汎化性能における優位性を数量的に明らかにした。(3) モデル候補の中にデータ生成分布と一致するものが存在しない場合における汎化誤差と自由エネルギーの一般的な挙動の相違を明らかにし、自由エネルギーの最小化と汎化誤差の最小化は等価ではなく、相転移の近傍においてはそれらの相違が大きくなることを明らかにした。
|
Report
(3 results)
Research Products
(12 results)
