| 研究課題/領域番号 |
25730013
|
|---|
| 研究機関 | 東京工業大学 |
|---|
研究代表者 |
鈴木 大慈 東京工業大学, 情報理工学(系)研究科, 准教授 (60551372)
|
|---|
| 研究期間 (年度) |
2013-04-01 – 2017-03-31
|
| キーワード | 交互方向乗数法 / 確率的最適化 / 構造的正則化 / ガウシアンプロセス事前分布 / ベイズ推定 / 低ランクテンソル推定 |
|---|
| 研究実績の概要 |
今年度は，データの多様性に対応した学習を可能にする構造的正則化学習手法を効率的に計算するための計算手法および，ノンパラメトリックな低ランクテンソル推定の理論研究を行った．
まず構造的正則化学習の効率的計算手法の研究として，昨年度まで行ってきた確率的交互方向乗数法について，その収束速度の理論的保証を改善した．これまでの研究より，確率的交互方向乗数法は一次収束することが示されており，その収束速度は問題の条件数によって決定されていた．今年度は，この条件数への依存性がこれまでの解析よりも緩くすることができることを示した．具体的には条件数そのものではなく，その平方根が収束レートに現れることが示され，これによって，悪条件の問題でもパラメータの設定を適切に行えば，通常の一次最適化法と比べて高速にできることが示されたことになる．示されたレートは一次最適化法のNesterovの加速法と同じ収束レートになる．
低ランクテンソル推定について，昨年度までのパラメトリックな方法を拡張して，ノンパラメトリックなテンソル型関数推定まで拡張した．これにより，これまでモーダル間の線形な関係性までしか捉えられなかったことに対して，モーダル間の非線形な関係性までも捉えられるようになった．提案手法は，ノンパラメトリックテンソルをガウシアンプロセス事前分布を用いてベイズ推定する手法であり，パラメトリックな方法と同様に統計的に非常に弱い条件のもと，ミニマックス最適性をほぼ達成することが理論的に証明された．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
確率的交互方向乗数法という広い枠組みでの最適化手法の理論が洗練され，その理論的な評価はある程度のメドがついた．また，いくつかの応用にも適用し，応用範囲も広げることができている．
低ランクテンソル推定の理論は今年度大きく進展し，無限次元のモデルまで拡張することができた．基本的なモデルとしては出来る限りの拡張ができたことになる．また，その応用としてオンラインショッピングデータの勾配予測にも適用し，理論だけでなく実応用も進んでいる．
|
| 今後の研究の推進方策 |
統計理論について：ノンパラメトリックテンソル推定について，ガウシアンプロセス事前分布を用いたベイズ推定だけでなく正則化法を用いた学習手法や交互最適化を用いた手法について考察し，その理論的最適性などを考察する．また，複数の構造的正則化を組み合わせた方法を考察し，その統計理論を構築する．これはマルチタスク学習やスパースPCAなどスパースかつ低ランクな学習問題で現れる問題である．
アルゴリズム研究について：確率的最適化の新しい方法論として，並列化と両立する方法を提案する．また，高次元性にも良くスケールする効率的な手法を提案する．また，可能なら適宜非凸目的関数にも適用できるよう手法の洗練を行う．
|
| 次年度使用額が生じた理由 |
当該年度においてはこれまでに購入した物品などにより十分研究が遂行できたため．
|
| 次年度使用額の使用計画 |
次年度には海外出張を数度行うため，その旅費に充当する．また，大規模データ解析に必要な計算機の購入をする．
|
