統計力学的アプローチによる機械学習の計算限界解明アルゴリズム開発
Publicly Offered Research
| Project Area | A multifaceted approach toward understanding the limitations of computation |
|---|
| Project/Area Number |
25106506
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
|
| Allocation Type | Single-year Grants |
|---|
| Review Section |
Science and Engineering
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
永田 賢二 東京大学, 新領域創成科学研究科, 助教 (10556062)
|
|---|
| Project Period (FY) |
2013-04-01 – 2015-03-31
|
| Project Status |
Completed (Fiscal Year 2014)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2014: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2013: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
|
|---|
| Keywords | 機械学習 / 計算限界解明 / マルコフ連鎖モンテカルロ法 / 自由エネルギー / 特異モデル |
|---|
| Outline of Annual Research Achievements |
本研究課題では，統計力学的アプローチに基づき，機械学習の個別問題に対して解の推定精度・限界を明らかにする汎用的なアルゴリズムの開発を行う．このような方法論の構築は，データ数が十分多いという条件下で議論される学習理論の一般的枠組みを拡張し，具体的データ解析の課題において，機械学習の計算限界の解明を促進する．
平成26年度では，昨年度から引き続き，ニクラスの線形識別における変数選択問題について研究遂行した．具体的には，変数の組み合わせに関して全探索し，予測性能を元に評価する手法を取り扱った．その際に，レプリカ交換モンテカルロ法により効率的な全探索を行い，さらにマルチヒストグラム法を用いることで，予測誤差に関する状態密度関数を推定する手法を提案した．さらに，重要な変数の組み合わせを求める多重検定を求めるアルゴリズム開発も行った．
上記課題に加え，動径基底関数(RBF)ネットワークによる回帰問題についても取り組んだ．RBFネットワークは階層的な構造を持つ確率モデルであり，その学習理論は代数幾何学的アプローチにより進められており，実対数閾値(RLCT)によりデータ数無限の漸近挙動が明らかにされている．本研究では，RLCTを拡張し，ベイズ比熱を定義し，データからベイズ比熱を求めることにより，推定結果と得られたベイズ比熱の値の関係から，推定の成否を判別できることを明らかにした．
|
| Research Progress Status |
26年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
26年度が最終年度であるため、記入しない。
|
Report
(2 results)
Research Products
(9 results)
