| Project/Area Number |
21K12025
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61030:Intelligent informatics-related
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
Watanabe Sumio 東京工業大学, 情報理工学院, 教授 (80273118)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2023: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2022: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2021: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
|
|---|
| Keywords | 特異学習理論 / 周辺尤度 / 情報量規準 / 代数幾何 / 自由エネルギー / WBIC / 特異モデル / 実対数閾値 / 調整された交差検証 / 調整された情報量規準 / WAIC / 汎化誤差 |
|---|
| Outline of Research at the Start |
データサイエンスや機械学習を現実の世界の課題に適用しようとするとき、未知の分布に対して確率モデルや事前分布が適切であるかどうかを確かめるための方法が必要になる。その際にしばしば用いられる規準が汎化損失と自由エネルギーである。本研究では、主として自由エネルギーの計算法を研究し、データが独立でなくても精度よく推定値を求める方法を構成する。汎化損失を推定するための基準WAIC1が世界中で広くい用いられているように、本研究の成果もそのようになることが目標である。
|
| Outline of Final Research Achievements |
In statistical inference and statistical learning, the free energy which is equal to the minus log marginal likelihood is defined for a given probabilistic model, a prior distribution, and a sample. In this research project, the following results were obtained. (1) The conventional theory was generalized for exchangeable random variables so that WBIC can be employed to estimate the free energy. (2) The free energies for the convolutional neural networks using a ReLU function with skip connection and without skip connection were clarified. And (3) the free energy of a learning model which has hierarchical structure or hidden variables were clarified when the data-generating distribution is not realizable.
|
| Academic Significance and Societal Importance of the Research Achievements |
確率モデル・事前分布・サンプルが与えられたときに自由エネルギーの値を算出することは、データ生成分布に対する確率モデルと事前分布の適切さを判断する際に重要な役割を果たすことが知られているが、事後分布が正規分布で近似できない場合には、その値を求めるには大きな演算量が必要であった。本研究では、自由エネルギーの値を求めるために提案されていた情報量規準WBICについて研究を行い、より一般な条件下で利用可能であるように拡張し、階層モデルを持つモデル出の挙動を解明した。これらの結果は、実問題のデータ分析におけるモデリングの基盤のひとつであり、また人工知能アライメントのための数学的基礎を構成するものである。
|
