2004 Fiscal Year Annual Research Report
| Project/Area Number |
15500130
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
渡邊 澄夫 東京工業大学, 精密工学研究所, 教授 (80273118)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
山崎 啓介 東京工業大学, 精密工学研究所, 助手 (60376936)
|
|---|
| Keywords | 特異モデル / 学習理論 / ベイズ法 / 確率的複雑さ / 汎化誤差 / 代数幾何 / カルバック情報量 / ゼータ関数 |
|---|
| Research Abstract |
情報システムの実現において利用されている多くの学習モデルは統計的に正則ではなく、縮退したフィッシャー計量を持つ特異モデルであることが知られている。たとえば多層パーセプトロン、混合正規分布、ベイズネットワーク、ボルツマンマシン、隠れマルコフモデル、縮小ランク回帰などの学習モデルは全て特異モデルである。特異モデルにおいては通常の統計的漸近理論は成り立たたず、従って、以上の学習モデルは広く一般に利用されているにも関わらず、その挙動について理論的に捉えることができなかった。
しかしながら、本研究により、特異モデルの学習精度が代数幾何学的な概念によって解析することが可能になった。平成16年度における研究成果は以下の通りである。(1)最尤推測における学習誤差と汎化誤差が対称的な挙動を持つことを特異点解消定理によって証明した。(2)ボルツマンマシンと隠れマルコフモデルの学習係数のバウンドを与えた。(3)縮小ランク回帰の学習係数を厳密に導出した。(4)カルバック情報量が主要項と摂動項で書けるときに、摂動項を扱う方法を確立した。(5)変分ベイズ法や階層ベイズ法がベイズ法とどの程度に異なる学習精度を与えるかを明らかにし、それらの方法の予測精度を解明した。(6)マルコフ鎖モンテカルロ法による事後分布の近似おいて特異点が与える影響を明らかにした。
これらの研究成果は、学術雑誌に論文として公表されるだけでなく、各種学会の解説論文やサーベイ論文として紹介され、学習システムや人工知能の実現に役立っている。
|
