研究課題
具体的内容 昨年度までの研究により、真の分布が学習モデルに含まれているとき特異モデルにおいても汎化誤差を学習誤差から推測できる学習の状態方程式が導出されていた。本年度の研究では学習の状態方程式を真の分布が学習モデルに含まれていない場合に拡張した。また、学習の状態方程式が成立するためには対数尤度関数の分散が平均でバウンドできるという条件が必要であることを明らかにした。この条件は真の分布が学習モデルに含まれているとき、あるいは、真の分布が学習モデルに対して正則であるときには必ず満たされるが、そうでないときには満たされるとは限らない。この条件が満たされない場合には学習の状態方程式の挙動が変化することも解明した。意義 情報科学で利用される多くのモデルは特異モデルである。例えば、神経回路網・混合正規分布・隠れマルコフモデル・ベイズネットワークなどは全て特異モデルである。特異モデルのベイズ周辺尤度や汎化誤差の挙動は解明されていなかった。本研究では、特異モデルにおいても学習誤差から汎化誤差を推測することができる理論の構築を目指してきた。その結果、統計的正則モデルにおける赤池情報量規準を特異モデルの場合に拡張することができた。これが学習の状態方程式である。重要性 統計的正則モデルの理論は1925年に統計学者フィッシャーによって作られたが、それ以後、実質的な意味での発展は存在しなかった。本研究はフィッシャー以来、約100年ぶりに、その枠組みを大きく進展させることに成功した。
すべて 2010 2009 その他
すべて 雑誌論文 (4件) (うち査読あり 4件) 学会発表 (1件) 図書 (2件) 備考 (1件)
Advanced Studies in Pure Mathematics Vol.57
ページ: 473-492
IEICE Transactions Vol.E93-A, No.3
ページ: 617-626
Neural Networks Vol.23, No.1
ページ: 35-43
ページ: 20-34
http://watanabe-www.pi.titech.ac.jp/~swatanab/
