2005 Fiscal Year Annual Research Report
| Project/Area Number |
15500130
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
渡邊 澄夫 東京工業大学, 精密工学研究所, 教授 (80273118)
|
|---|
| Keywords | 特異モデル / 代数幾何 / 確率的複雑さ / ベイズ法 / 変分ベイズ法 / ゼータ函数 / 縮小ランク回帰 / 文脈自由文法 |
|---|
| Research Abstract |
人工神経回路網、混合正規分布、ベイズネットワーク、隠れマルコフモデル、縮小ランク回帰モデルのような階層構造や隠れ変数を含む学習モデルが情報学において広く用いられているが、これらの学習モデルは、パラメータと確率モデルの対応が一対一ではなく、フィッシャー情報行列の正則性が成り立たないため、その挙動を従来の統計的正則モデルの理論の枠内で扱うことができず特異モデルと呼ばれている。本研究では、これらの学習モデルの性質を明らかにし情報学的な設計論を構築するために、代数幾何学的な方法を確立することを目的とする。平成17年度の研究においては、次の成果を得た。(1)対数尤度関数に損失を加えた一般化最尤推定における汎化誤差の漸近挙動を、特異点解消定理と経験確率過程論に基づいて導出する一般的な方法を確立した。これにより、損失項のサンプル数に関するオーダーを変えたときの汎化誤差の振る舞いが明らかになった。(2)変分ベイズ法は、ベイズ事後確率分布をパラメータ毎に独立な確率分布で近似する方法である。変分ベイズ法の汎化誤差の挙動については、いまだに一般的な仮定の上では明らかになっていないが、特異モデルのひとつである縮小ランク回帰モデルの汎化誤差の導出を行った。この結果、変分ベイズ法の汎化誤差は、大きさとしてはベイズ法に近いが、学習モデルの大きさに対する依存性は最尤法に類似することが明らかになった。(3)確率文脈自由文法は、文脈自由文法の文生成法則を確率化したものであり、自然言語の解析や遺伝子情報の解析に広く使われている。しかしながら、確率文脈自由文法は特異モデルであり、その挙動はこれまで明らかにされていなかった。本年度の研究において、確率文脈自由文法の学習において変分ベイズ法を用いた場合の確率的複雑さの漸近挙動を明らかにし、ベイズ法の確率的複雑さの漸近挙動をよく近似していることを明らかにした。今年度までの研究によって特異モデルのベイズ法および変分ベイズ法について、その学習における挙動が解明されたので、来年度以降は、その精密化および実世界問題への応用方法の構成を行っていく。
|
