2013 Fiscal Year Research-status Report
マルコフ連鎖モンテカルロ法の挙動に基づくベイズ推定におけるモデル選択手法の開発
| Project/Area Number |
25330283
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
永田 賢二 東京大学, 新領域創成科学研究科, 助教 (10556062)
|
|---|
| Project Period (FY) |
2013-04-01 – 2017-03-31
|
| Keywords | 機械学習 / マルコフ連鎖モンテカルロ法 / ベイズ推定 / モデル選択 / スペクトル分解 |
|---|
| Research Abstract |
本研究課題では，マルコフ連鎖モンテカルロ法(MCMC)法の挙動や緩和過程に基づいたベイズ推定の新たなモデル選択法の開発を行う．
平成25年度では，具体的事例として，スペクトル分解の問題に着目し，そのデータ解析で必要となる動径基底関数(RBF)ネットワークについてのモデル選択法の開発に着手した．このモデルは，階層的な構造を持つ学習モデルであるため，従来のモデル選択手法であるAICやBICが利用できないといった問題がある．近年，こうした階層的な学習モデルについて代数幾何学的アプローチに基づいて，学習の性能を解明する研究が行われており，自由エネルギーや汎化誤差の主要項の係数である学習係数が重要であることが認識されている．しかしながら，学習係数の導出のためにはブローアップを個別の学習モデルで行う必要があり，煩雑な計算になることから，新たな導出法が求められている．
そこで，本研究課題では，交換モンテカルロ法の平均交換率をもとにして，学習係数を導出するアルゴリズムを開発した．具体的には，交換モンテカルロ法の平均交換率の漸近挙動を解明した理論に基づき，シミュレーションにより求められた平均交換率の値から，逆関数法により，学習係数の近似的な値を導出する方法を提案した．その有効性を検証する為に，学習係数が解明されている条件下で提案手法を適用し，理論値と実験値が精度よく一致していることを確認し，また，学習係数が未解明な問題について，提案手法を適用することで，RBFネットワークの学習の性質の解明を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
当初計画では，実データへの応用を行う前に，そのための理論を確立させる予定であったが，従来の理論を用いることで，新たなアルゴリズムの開発ができたため，当初の計画以上に進展している．
|
| Strategy for Future Research Activity |
近年，提案された新たなモデル選択手法であるWBICの有効性をRBFネットワークで検証し，従来手法と計算精度・計算量の両者の観点で比較を行う．従来の自由エネルギーの導出には，多くの温度パラメータでの期待値計算が必要であるのに対し，WBICでは，ひとつの温度パラメータで計算可能であることから，計算量が大幅に削減できることが予想される．
|
| Expenditure Plans for the Next FY Research Funding |
平成25年度で行ったシミュレーションが，現有の計算機資源で十分であったため，平成25年度に購入予定であったワークステーションの購入を次年度に見送った．
平成26年度より本格的な実データ解析を行う予定であり，そのための計算資源として，前年度に購入を見送ったワークステーションの購入に計上する．また，成果発表のための国内・国外旅費に計上する．
|
