| 研究課題/領域番号 |
15500130
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 一般 |
|---|
| 研究分野 |
感性情報学・ソフトコンピューティング
|
|---|
| 研究機関 | 東京工業大学 |
|---|
研究代表者 |
渡邊 澄夫 東京工業大学, 精密工学研究所, 教授 (80273118)
|
|---|
| 研究分担者 |
山崎 啓介 東京工業大学, 精密工学研究所, 助手 (60376936)
|
|---|
| 研究期間 (年度) |
2003 – 2006
|
| 研究課題ステータス |
完了 (2006年度)
|
| 配分額 *注記 |
2,900千円 (直接経費: 2,900千円)
2006年度: 600千円 (直接経費: 600千円)
2005年度: 900千円 (直接経費: 900千円)
2004年度: 600千円 (直接経費: 600千円)
2003年度: 800千円 (直接経費: 800千円)
|
|---|
| キーワード | 代数幾何 / 統計的学習理論 / ゼータ関数 / 学習システム / 学習モデル / 学習理論 / 代数解析 / 情報システム / 特異モデル / 確率的複雑さ / ベイズ法 / 変分ベイズ法 / ゼータ函数 / 縮小ランク回帰 / 文脈自由文法 / 汎化誤差 / カルバック情報量 / ブローアップ / 特定不能 |
|---|
| 研究概要 |
与えられたサンプルデータから、そのサンプルを発生している確率分布を推測することは統計的学習と呼ばれ、パターン認識、ロボット制御、時系列解析などにおいて必要となる基礎技術である。現代では、多層神経回路網、混合正規分布、隠れマルコフモデル、ベイズネットワークなど、階層構造や隠れた変数を含む複雑な学習モデルが実問題に応用されているが、これらのモデルは統計的正則モデルではなく、20世紀に作られた統計理論は適用できないことが知られている。具体的にはフィッシャー情報行列は正則でなく、最尤推定量の分布もベイズ事後分布も正規分布に漸近せず、対数尤度比もカイ自乗分布に法則収束しない。またAIC、BIC、MDLなどのモデル選択規準は、汎化誤差、ベイズ周辺尤度、最小記述長に対応しない。これらの学習モデルは特異モデルと呼ばれているが、特異モデルの統計的学習理論については基礎から構築を行う必要がある。本研究は、世界で唯一、特異モデルの学習理論を数学的な基礎から構築するものである。特異モデルの学習理論を構築するためには、学習モデルの作る集合を代数幾何学的な観点から考察する必要がある。平成15年から18年までの本研究によって、以下のことが明らかになった。(1)特異モデルの最尤推定量および事後確率最大化推定量は、特異点を含む解析的集合の上の正規確率過程の最大値の挙動で記述することができ、その汎化誤差および学習誤差の漸近特性は特異点解消定理に基づいて具体的に導出できる。(2)特異モデルにおいては、ベイズ学習が極めて優れた学習モデルを与えるが、パラメータ空間が3ないし4次元以上の場合には、真の分布と特異点がずれている場合でも汎化誤差は統計的正則モデルよりも小さくなる。(3)ベイズ学習を近似実現する方法として変分ベイズ法があるが、変分ベイズ法は事後分布の近似としては比較的優れた近似を与えるものの、予測分布の近似精度は、一般にはあまり優れていない。(4)特異モデルを扱うための数学的手段としては、代数幾何学だけでなく超関数論や経験過程論なども必要であり、その基礎を作るためには現代数学のほとんどすべての分野が必要になり、古典的な統計学だけでは明らかに不十分である。これらの研究成果は、世界の中でも本研究だけでなされた極めて独創的なものである。
|
