| 研究課題/領域番号 |
21K12025
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61030:知能情報学関連
|
|---|
| 研究機関 | 東京工業大学 |
|---|
研究代表者 |
渡邊 澄夫 東京工業大学, 情報理工学院, 教授 (80273118)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| 研究課題ステータス |
交付 (2022年度)
|
| 配分額 *注記 |
1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
2023年度: 520千円 (直接経費: 400千円、間接経費: 120千円)
2022年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2021年度: 520千円 (直接経費: 400千円、間接経費: 120千円)
|
|---|
| キーワード | WBIC / 特異モデル / 実対数閾値 / 調整された交差検証 / 調整された情報量規準 / WAIC / 汎化誤差 / 自由エネルギー / 特異学習理論 / 代数幾何 |
|---|
| 研究開始時の研究の概要 |
データサイエンスや機械学習を現実の世界の課題に適用しようとするとき、未知の分布に対して確率モデルや事前分布が適切であるかどうかを確かめるための方法が必要になる。その際にしばしば用いられる規準が汎化損失と自由エネルギーである。本研究では、主として自由エネルギーの計算法を研究し、データが独立でなくても精度よく推定値を求める方法を構成する。汎化損失を推定するための基準WAIC1が世界中で広くい用いられているように、本研究の成果もそのようになることが目標である。
|
| 研究実績の概要 |
統計学と学習理論において不確実性は未知であり、科学的な分析を行うユーザーは自身が作成した確率モデルと事前分布がデータの生成過程とは異なる架空の候補にすぎないことに気づいている。すなわち、現代の統計的分析においては確率モデルと事前分布の妥当性を評価しチェックを行うことは必須となる手続きであるが、そのための数学的な基盤は未だに十分には確立されていない。
確率モデルと事前分布の評価を行うための指標として代表的なものに自由エネルギー（マイナス対数周辺尤度、確率的複雑さ）、交差検証、情報量規準がある。自由エネルギーによるモデル評価は、モデル族の中にデータ生成分布が含まれているときには良好であることが知られているが、汎化誤差を推定するという観点からはバイアスとバリアンスのバランスが適切でないという問題点がある。一方、交差検証と情報量規準は汎化誤差の漸近的な不偏推定を与えるが、汎化誤差と逆相関を持つという問題点があることが知られていた。
2022年度の研究では、交差検証と情報量規準の数学的な性質に基づいて、汎化誤差の漸近的な不偏推定量であり、かつ、汎化誤差と逆相関を持たない推定量である調整された交差検証と情報量規準を構成し、汎化誤差の推定量としての二乗誤差が交差検証や情報量規準よりも小さくなることを理論的に明らかにした。また行列分解などの事後分布が正規分布で近似できない特異モデルにおいても、良好な汎化誤差の推定ができることを実験的に確認した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
汎化誤差の漸近的な不偏推定量であり汎化誤差と逆相関を持たない調整された交差検証と調整された情報量規準を創出し、その数学的な特性を明らかにし、特異な統計モデルとして具体的な行列分解において、その有効性を実験的に示すことができた。
|
| 今後の研究の推進方策 |
汎化誤差の漸近的な不偏推定量として、分散が交差検証や情報量規準よりも小さいものが存在することを示すことができたが、自由エネルギーとの関連やモデル選択やハイパーパラメータ調整などにおける有効性を調べることについては今後の課題である。理論および実験の両面からこれらの問題を考察して行く。
|
