2015 Fiscal Year Research-status Report
代数幾何学と構造学習理論に基づく周辺尤度と汎化誤差のモデル評価法の相違の解明
| Project/Area Number |
15K00331
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
渡邊 澄夫 東京工業大学, 総合理工学研究科, 教授 (80273118)
|
|---|
| Project Period (FY) |
2015-04-01 – 2020-03-31
|
| Keywords | 代数幾何 / 汎化誤差 / 周辺尤度 / WAIC / WBIC |
|---|
| Outline of Annual Research Achievements |
統計学および機械学習において用いられている確率モデルや事前分布の適切さを合理的に評価する量として汎化誤差と周辺尤度が知られている．汎化誤差は予測を行う時の誤差の大きさであり、周辺尤度は確率モデルと事前分布の尤度を表している．我々はこれまでの研究において、事後分布が正規分布で近似できない場合であっても汎化誤差と周辺尤度を求めることができる公式を代数幾何学的な理論を構築することにより導出してきた．汎化誤差と周辺尤度はどちらも大切な量であるが、事後分布が正規分布で近似できる場合であっても、その数学的な性質は大きく異なることが知られている．本研究では，事後分布が正規分布で近似できない場合における両者の違いを数学的に解明し，現実の確率モデルの評価に適用できるようにすることを目的としている．
平成２７年度には次の研究を行った．まず，クロスバリデーションとWAICとを用いて事前分布を最適化した場合に，最適化された事前分布は平均汎化誤差および汎化誤差を漸近的に最小化するかという問題を研究し，次の結論を得た．クロスバリデーションおよびWAICによる事前分布の最適化は漸近的に等価であり，平均汎化誤差を漸近的に最小化するが、確率変数としての汎化誤差を最小にはしない．次にレプリカモンテカルロ法を用いて対数周辺尤度を求めたとき，その値の真の値からのずれにはどのような性質があるかという問題を研究し，次の結論を得た．対数周辺尤度の数値の精度は代数幾何学的な方法で真の値を求めることで計算することができ，モンテカルロパラメータ数の平方根に逆比例し，レプリカ温度数の指数乗に比例する．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究実績の概要で述べたように，汎化誤差および周辺尤度の挙動について基本的な性質が解明できた．
|
| Strategy for Future Research Activity |
汎化誤差については，事後分布がハイパーパラメータの制御に対して相転移を持つ場合についてはまだ解明できていないので，今後はその場合も含めて考察したい．また周辺尤度については，導出できた公式についての理論的基盤が脆弱であるため，今後は数学的に強固な基礎づくりを行いたい．
|
