2013 Fiscal Year Annual Research Report
統計力学的アプローチによる機械学習の計算限界解明アルゴリズム開発
Publicly Offered Research
| Project Area | A multifaceted approach toward understanding the limitations of computation |
|---|
| Project/Area Number |
25106506
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research on Innovative Areas (Research in a proposed research area)
|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
永田 賢二 東京大学, 新領域創成科学研究科, 助教 (10556062)
|
|---|
| Project Period (FY) |
2013-04-01 – 2015-03-31
|
| Keywords | 機械学習 / 計算限界解明 / マルコフ連鎖モンテカルロ法 / 自由エネルギー / 特異モデル |
|---|
| Research Abstract |
本研究課題では，統計力学的アプローチに基づき，機械学習の個別問題に対して解の推定精度・限界を明らかにする汎用的なアルゴリズムの開発を行う．このような方法論の構築は，データ数が十分多いという条件下で議論される学習理論の一般的枠組みを拡張し，具体的データ解析の課題において，機械学習の計算限界の解明を促進する．
平成25年度では，ニクラスの線形識別におけるスパース変数選択問題について主に取り組んだ．スパース推定の基本的な考え方は，高次元データの背後にある説明変数の数がデータの次元よりも少ないと仮定し，説明変数の個数が少なくなることと，データへの適合を同時に要請することにより，自動的な説明変数の選択を可能にする枠組みである．
特に，LASSOやARDなどのアルゴリズムは，線形計画問題の凸最適化に帰着できることから，解が一意に定まることや，多項式オーダーの計算量で計算できることから，広く用いられてきたが，データが少し変化するだけで，求まる解が大きく定まることが問題として知られている．
そこで，本研究課題では，この困難を解決する為に，あり得る解の候補を全て探索し，解の空間構造を明らかにすることを目的とした．この解法では，指数オーダーの計算量が必要になりNP困難であることがわかる．そこで，効率的に探索する解法として，レプリカ交換モンテカルロ法を利用した．さらに，マルチヒストグラム法を用いることで，状態密度関数を推定することで，全体としての解の個数を推定することに成功した．また，状態密度関数を利用して，与えられたデータが二値分類するための情報を備えているかどうかを判別することに成功した．
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
「与えられたデータが二値分類するための情報を備えているか」を判別することは，一般的に困難な課題であり，ある種の多重検定の枠組みとの関連もあり，機械学習の計算限界を促進したと言える結果である．
|
| Strategy for Future Research Activity |
引き続き，ニクラスの線形識別におけるスパース変数選択の問題に取り組むとともに，新たな課題である動径基底関数ネットワークによるデータ回帰について，代数幾何学的手法を取り込んだアルゴリズムを開発する．
|
