|
実世界において現れるほぽ全ての学習モデルは、パラメータと確率モデルの対応が1対1ではなく、また縮退したフィッシャー情報行列を持つ特異モデルである。特異モデルにおいては最尤推定量の分布もベイズ事後分布も正規分布に近づかないため、従来の統計的漸近理論を適用することができなかった。本研究は、学習理論におけるこの基礎的かつ重要な問題の解明のために代数幾何学の方法を用いて情報物理学の確立を行うことを目的とする。 2007年に新たに得られた成果は次の通りである。(1)統計的推測における状態方程式の発見と証明。特異的な学習モデルにおいては、汎化誤差、学習誤差の挙動がモデル、事前分布、特異点に依存するため、真の分布が不明な場合には、汎化誤差を直接に推定することができなかった。本研究において、ベイズ法とギブス法における汎化誤差と学習誤差の間に、学習モデル、真の分布、事前分布、特異点に依存せずに成り立つ関係式(学習の状態方程式)を発見し、代数幾何学的な証明を与えた。(2)特異モデルにおいては事後分布を高精度に実現する方法が重要である。本研究では、交換モンテカルロ法に基づいて、特異点を持つ事後分布を高精度に実現する方法を提案し、その漸近的な交換率が、ゼータ関数の最大極を用いて表すことができることを証明した。
|
