2013 Fiscal Year Research-status Report
| Project/Area Number |
25730013
|
|---|
| Research Category |
Grant-in-Aid for Young Scientists (B)
|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
鈴木 大慈 東京工業大学, 情報理工学(系)研究科, 准教授 (60551372)
|
|---|
| Project Period (FY) |
2013-04-01 – 2017-03-31
|
| Keywords | 構造的正則化 / 交互方向定数法 / 確率的最適化 / 低ランク行列 / ベイズ推定 |
|---|
| Research Abstract |
今年度は，データの多様性に対応するための構造的正則化学習手法について，その効率的計算手法および統計的性質の解明を行った．
まず，効率的計算手法であるが，大量データの処理に有用な確率的最適化の枠組みで構造的正則化を扱える手法を考案した．提案手法は基本的に交互方向乗数法 (Alternating Direction Multiplier Method, ADMM) と呼ばれる手法に基づいており，それらのある種の確率的最適化への拡張と言える．提案手法は上に述べたような様々な応用に容易に適用可能であり，また実装の簡便さも重要な特徴である．提案手法は主に分けて二つある．それぞれオンライン型確率的最適化法と確率的双対座標降下法に対応し，それらのADMM型拡張が提案手法である．上記の二つの手法はともに大規模データにおける構造的正則化学習問題を解くための一般的な枠組みを提供し，数多くの正則化項に適用可能であるだけでなく，実装が簡便なため，非専門家でも容易に扱うことができる．
続いて，構造的正則化の中でも低ランクテンソル型正則化手法に着目し，その統計的性質を調べた．低ランクテンソル型正則化として，テンソルを各モードで行列化しそれぞれのトレースノルムを足し合わせた和型正則化と，テンソルを各モードに対応したテンソルの和に分解し各成分のトレースノルムの和を用いる畳みこみ型正則化の二つを考えた．特に，今年度は畳みこみ型正則化を重点的に研究し，テンソルのランクがモードごとに偏っている場合には畳みこみ型正則化が有用であることが示された．さらに，ベイズ推定法を用いると観測行列に弱い仮定をおくだけで，統計的により速い収束レートが示される．これは，実用的な推定方法で初めて最適レートを達成した方法である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
まず，効率的な最適化手法についてであるが，広範な構造的正則化学習に応用可能な非常に一般的な確率的最適化手法を提案し，その収束の証明や実データへの応用も含め，当初の予定通りに計画は進行している．
また，統計理論についても正則化項付きリスク最小化による手法とベイズ推定方によるもの両方について理論を与え，当初の予想通り，計算量を重視しなければベイズ推定法が良い性質を有することをが示された．
|
| Strategy for Future Research Activity |
理論研究について：２６年度は，正則化付きリスク最小化・ベイズ推定どちらにおいても，より一般的な設定での議論を行う．その際，２５年度の研究で得られた知見を踏襲しつつ，実際に応用されている多様な例に当てはまるよう理論を拡充し，それらを包括する一般論を展開する．例えば，推定すべき量を行列とみなした時の低ランク性とベクトルとみなした時のグループ構造を両方持つような，複合的な正則化学習問題を考え，その統計的理論を与える．このような問題は複数の関連するタスクを同時に学習するマルチタスク学習やロバストPCAといった文脈で現れる設定である．
アルゴリズム研究について：推定アルゴリズムの開発も，２５年度の研究を引き継ぎつつ，理論と同様に一般論を構築してゆく．特に２５年度には研究の対象に含めなかったスパースなベイズ推定のアルゴリズムにも力を入れる．構造的スパース性を誘導するような事前分布に関しては効率的なサンプリング法が提案されていないため，他の問題で発展してきた様々な技法を援用しつつ新しい手法を提案する．また，多量データに対応できるよう，サンプル数に対してスケーラブルな手法を模索する．
|
Research Products
(16 results)
