|
神経回路網、混合正規分布、ベイズネットワーク、隠れマルコフモデル、縮小ランク回帰など、階層構造を持つ学習モデルは、情報学における多くの実問題に適用されている。しかしながら、これらの学習モデルは、パラメータから確率分布への写像が1対1ではなく、フィッシャー情報量が縮退する特異点を多く持つために、その予測精度の解析には従来からよく知られた統計的正則モデルの方法を適用することができず、学習誤差や汎化誤差などが未解明であるためにモデル選択や検定などの最適設計法が確立されていない。この学習理論における特異点の問題において、我々は、特異点の代数幾何学的な性質と予測精度との数学的な関係を世界で初めて発見・証明し、その後、いくつかの学習モデルにおいて具体的な予測精度を解明してきた。平成14年度の研究成果としては次の3点がある。1.真の分布と特異点が一致せず、そのカルバツク距離が、サンプル数の(-1/2)乗に比例する場合において、特異点が予測精度に及ぼす影響を解明し、真の分布が特異点からずれている場合にも、特異点の存在によって正則モデルよりも優れた予測能力を持つことを明らかにした。2.特異点を持つ学習モデルの選択において、真の分布が有限の大きさのモデルに含まれている場合にはジェフリーズの事前分布がモデル選択の一致性および予測精度の両面で優れていること、一方、真の分布が有限の大きさのモデルに含まれていないときにはジェフリーズの事前分布は適さないことを明らかにした。3.特異点を持つ学習モデルの一例であるボツルマンマシンについて、代数幾何学的な方法によって、その予測精度を解明した。本研究により、特異点を持つ学習モデルの予測精度の解明および実問題への応用において、数学的基盤が構成された。
|
