2008 Fiscal Year Annual Research Report
| Project/Area Number |
18079007
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
渡邊 澄夫 Tokyo Institute of Technology, 精密工学研究所, 教授 (80273118)
|
|---|
| Keywords | 代数幾何 / 学習理論 / 特異モデル / 実対数閾値 / 特異ゆらぎ / 学習の状態方程式 |
|---|
| Research Abstract |
情報科学・統計科学・生命科学で用いられる確率モデルは、パラメータと確率分布の関係が一対一ではなく、また縮退したフィッシャー情報行列を持つため、その学習における挙動は従来の統計学では解析することができなかった。この問題に関連して我々は、広中の特異点解消定理に基づいてベイズ汎化誤差の漸近挙動を既に導出していたが、ベイズ汎化誤差は、真の分布、学習モデル、事前分布に依存するため、現実的なケースにおいて真の分布が不明である場合には、学習誤差から汎化誤差を推測することはできなかった。これは統計学においては、特異モデルにおいてはAICは汎化誤差を与えないということである。本研究の目的は特異モデルの学習を記述することができる新しい法則を発見し数学的な証明を与えることである。昨年度の研究で、我々は、特異モデルでも正則モデルでも汎化誤差と学習誤差の間に成り立つ共通の方程式が存在することを発見し、これを「学習の状態方程式」と名づけた。本年度の研究では、学習の状態方程式が成立することの証明を厳密化した。また、回帰問題において学習二乗誤差から汎化二乗誤差を推測する方法を確立した。さらに、学習の状態方程式は、真の分布が学習モデルに含まれていなくても成立することを明らかにした。数学的な観点からは、学習理論における汎化誤差と学習誤差の挙動が実対数閾値と特異ゆらぎの二つの双有理不変量によって決定されていることを明らかにした。これらの研究成果は、従来の統計学ではまったく知られていなかった構造を解明したことを意味している。また、日本数学会季節研究所、米国応用統計数理研究所、米国数理科学研究所などにおける招待講演により世界に向けて発信されている。今後の課題としては次の点があげられる。学習の状態方程式は、正則モデルでも特異モデルでも成立する普遍性を持つ方程式であり、フィッシャーの統計学以来の統計学の実質的な発展を与えるものであるが、研究者の宣伝能力がまだ不十分であるため、世界中の研究者から知られるには至っていない。そこで本研究の最終年度においては、得られた研究成果を世界に還元することを目指したいと考えている。
|
