2016 Fiscal Year Research-status Report
| Project/Area Number |
25730013
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
鈴木 大慈 東京工業大学, 情報理工学院, 准教授 (60551372)
|
|---|
| Project Period (FY) |
2013-04-01 – 2018-03-31
|
| Keywords | 機械学習 / 低ランクテンソル推定 / 確率的最適化 / 交互最適化 / ベイズ推定 |
|---|
| Outline of Annual Research Achievements |
今年度は，複数のデータ間の関係を記述するために有用な低ランクテンソルについて，その無限次元モデルを推定する際に交互最適化法を考察し，その汎化誤差の理論評価をした．また，大規模機械学習において有用な確率的最適化手法の新しい方法を提案した．
無限次元の低ランクテンソルモデルの推定に関しては，これまでベイズ推定を考察してきたが，今年度は交互最適化法と呼ばれる各モードに対応する非線形関数を交互に最適化する方法を考察した．理論的解析により，適切な初期値から始めることで，ミニマックス最適な解に線形収束することが示された．理論には，これまでの研究で調べてきたベイズ推定においては必要としなかった仮定が必要であったが，一方でアルゴリズムの線形収束といったより強い結果が得られている．また，大規模数値実験によって，従来法との比較をし，交互最適化法が実用的にはベイズ法と同程度の性能を示すことが確認された．
確率的最適化に関しては，凸関数から凸関数を引いた形の目的関数を確率的最適化によって効率的に解く手法を考案した．凸関数から凸関数を引いた形の目的関数を最小化する問題はDC計画とよばれ，非凸関数の最適化問題になるが，応用上様々な場面で現れる最適化問題である．また，ミニバッチサイズに対して従来法よりも計算量の増加が緩やかな手法を提案した．これによって，各更新を並列計算をすることで少ない反復で最適解に収束させることができる．並列化の恩恵をより良く受けられるという点で大規模データ解析により適した手法である．これは，分散縮小勾配法と双対平均化法およびNesterovの加速法を組み合わせた手法である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
低ランクテンソル推定の理論は，ベイズ推定以外にも実用的な交互最適化についても理論が進み，さらにその実用化も進んでいる．
確率的最適化については，交互方向乗数法の確率的最適化から始まりいくつかの新しい方法を提案することができた．一連の研究を通して，構造的な推定手法の新しい計算理論が作られた．
|
| Strategy for Future Research Activity |
低ランクテンソル推定の理論は多層ニューラルネットワークのようなデータの変換を繰り返すような手法にもその理論を援用できる．今後は，そのようなより広いモデルへの拡張を目指す．
計算手法に関しては，交互方向乗数法のような汎用的な方法に，今期に提案したいくつかの方法を組み合わせることで，より広い範囲の問題において効率的な計算方法を提供する．
|
| Causes of Carryover |
当初の研究目標として大規模データを効率的に処理するための確率的最適化手法の開発があったが，その目標に関して現在進行中の研究があり，研究成果を論文にまとめるためには様々なデータにおいて手法の有効性を実証する追加の数値実験が必要である．また，それらの結果をまとめて論文を作成するには期間を延長する必要があるため．
|
| Expenditure Plan for Carryover Budget |
デスクトップ計算機一台の購入(300千円)，および国内出張旅費(200千円)，国外出張旅費(270千円)
|
-
-
-
-
-
[Journal Article] Structure Learning of Partitioned Markov Networks2016
Author(s)
Song Liu, Taiji Suzuki, Masashi Sugiyama, and Kenji Fukumizu
-
Journal Title
Proceedings of Machine Learning Research (The 33rd International Conference on Machine Learning)
Volume: 48
Pages: 439-448
Peer Reviewed / Open Access / Int'l Joint Research / Acknowledgement Compliant
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
