| 研究課題/領域番号 |
21K12025
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61030:知能情報学関連
|
|---|
| 研究機関 | 東京工業大学 |
|---|
研究代表者 |
渡邊 澄夫 東京工業大学, 情報理工学院, 教授 (80273118)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| 研究課題ステータス |
完了 (2023年度)
|
| 配分額 *注記 |
1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
2023年度: 520千円 (直接経費: 400千円、間接経費: 120千円)
2022年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2021年度: 520千円 (直接経費: 400千円、間接経費: 120千円)
|
|---|
| キーワード | 特異学習理論 / 周辺尤度 / 情報量規準 / 代数幾何 / 自由エネルギー / WBIC / 特異モデル / 実対数閾値 / 調整された交差検証 / 調整された情報量規準 / WAIC / 汎化誤差 |
|---|
| 研究開始時の研究の概要 |
データサイエンスや機械学習を現実の世界の課題に適用しようとするとき、未知の分布に対して確率モデルや事前分布が適切であるかどうかを確かめるための方法が必要になる。その際にしばしば用いられる規準が汎化損失と自由エネルギーである。本研究では、主として自由エネルギーの計算法を研究し、データが独立でなくても精度よく推定値を求める方法を構成する。汎化損失を推定するための基準WAIC1が世界中で広くい用いられているように、本研究の成果もそのようになることが目標である。
|
| 研究成果の概要 |
統計的推測あるいは統計的学習において、確率モデル・事前分布・サンプルが与えられたときの自由エネルギー（マイナス対数周辺尤度）を求める課題において、以下の成果が得られた。(1)サンプルが交換可能である場合において従来理論の一般化を行い WBICが適用できることを示した。(2) ReLU関数を活性化関数として持つ畳み込み神経回路網においてスキップ接続を持つ場合と持たない場合における自由エネルギーの相違を明らかにし、スキップ接続が自由エネルギーを小さくする機能を持つことを示した。(3) データ生成分布が確率モデルによって実現できないとき階層構造や潜在変数を持つモデルの自由エネルギーの挙動を解明した。
|
| 研究成果の学術的意義や社会的意義 |
確率モデル・事前分布・サンプルが与えられたときに自由エネルギーの値を算出することは、データ生成分布に対する確率モデルと事前分布の適切さを判断する際に重要な役割を果たすことが知られているが、事後分布が正規分布で近似できない場合には、その値を求めるには大きな演算量が必要であった。本研究では、自由エネルギーの値を求めるために提案されていた情報量規準WBICについて研究を行い、より一般な条件下で利用可能であるように拡張し、階層モデルを持つモデル出の挙動を解明した。これらの結果は、実問題のデータ分析におけるモデリングの基盤のひとつであり、また人工知能アライメントのための数学的基礎を構成するものである。
|
