研究課題
基盤研究(C)
与えられたサンプルデータから、そのサンプルを発生している確率分布を推測することは統計的学習と呼ばれ、パターン認識、ロボット制御、時系列解析などにおいて必要となる基礎技術である。現代では、多層神経回路網、混合正規分布、隠れマルコフモデル、ベイズネットワークなど、階層構造や隠れた変数を含む複雑な学習モデルが実問題に応用されているが、これらのモデルは統計的正則モデルではなく、20世紀に作られた統計理論は適用できないことが知られている。具体的にはフィッシャー情報行列は正則でなく、最尤推定量の分布もベイズ事後分布も正規分布に漸近せず、対数尤度比もカイ自乗分布に法則収束しない。またAIC、BIC、MDLなどのモデル選択規準は、汎化誤差、ベイズ周辺尤度、最小記述長に対応しない。これらの学習モデルは特異モデルと呼ばれているが、特異モデルの統計的学習理論については基礎から構築を行う必要がある。本研究は、世界で唯一、特異モデルの学習理論を数学的な基礎から構築するものである。特異モデルの学習理論を構築するためには、学習モデルの作る集合を代数幾何学的な観点から考察する必要がある。平成15年から18年までの本研究によって、以下のことが明らかになった。(1)特異モデルの最尤推定量および事後確率最大化推定量は、特異点を含む解析的集合の上の正規確率過程の最大値の挙動で記述することができ、その汎化誤差および学習誤差の漸近特性は特異点解消定理に基づいて具体的に導出できる。(2)特異モデルにおいては、ベイズ学習が極めて優れた学習モデルを与えるが、パラメータ空間が3ないし4次元以上の場合には、真の分布と特異点がずれている場合でも汎化誤差は統計的正則モデルよりも小さくなる。(3)ベイズ学習を近似実現する方法として変分ベイズ法があるが、変分ベイズ法は事後分布の近似としては比較的優れた近似を与えるものの、予測分布の近似精度は、一般にはあまり優れていない。(4)特異モデルを扱うための数学的手段としては、代数幾何学だけでなく超関数論や経験過程論なども必要であり、その基礎を作るためには現代数学のほとんどすべての分野が必要になり、古典的な統計学だけでは明らかに不十分である。これらの研究成果は、世界の中でも本研究だけでなされた極めて独創的なものである。
すべて 2006
すべて 雑誌論文 (11件) 図書 (1件)
Journal of Machine Learning Research Vol.7
ページ: 625-644
IEICE Transactions Vol.E89-D, no.3
ページ: 1128-1138
電子情報通信学会論文誌 Vol.J89-A, no.8
ページ: 671-678
電子情報通信学会論文誌 Vol.J89-D-II, no.10
ページ: 2260-2268
電子情報通信学会論文誌 Vol.J89-D-II, No.6
ページ: 1279-1287
Proc. of Advances in Neural Information Processing Systems Vol.18
ページ: 1465-1472
IEICE Transactions vol.89-E-D
IEICE Transactions Vol.89-A
IEICE Transactions Vol.J89-D-II
Proc. of Advances in Neural Information Processing Systems vol.18
