2014 Fiscal Year Research-status Report
| Project/Area Number |
25730013
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
鈴木 大慈 東京工業大学, 情報理工学(系)研究科, 准教授 (60551372)
|
|---|
| Project Period (FY) |
2013-04-01 – 2017-03-31
|
| Keywords | 統計的学習理論 / 機械学習 / スパース推定 / 高次元統計 / ベイズ統計 / 確率的最適化 |
|---|
| Outline of Annual Research Achievements |
多様なデータ間の高次の関係性を推定するためのテンソル推定法について，その統計的性質を調べた．従来の凸最適化を用いたテンソル推定手法の予測誤差を理論的に評価するためにはデザイン行列にある種の強凸性を仮定する必要があった．一方で，本研究ではベイズ推定とよばれる枠組みを用いて推定することにより，これらの制約を取り除くことができることを理論的に示すことに成功している．今年度は，さらにテンソル推定問題における予測誤差のミニマックスレートを導出し，ベイズ法による低ランクテンソル推定手法がそのミニマックスレートを達成することが示された．また，理論のみでなく，実際のデータにおいても計算機実験を行い，既存の凸最適化を用いた手法と比べて実験的にも良い推定精度を有することが示された．
高次元データ解析において正則化学習法は非常に強力な手法である．正則化学習では，代表的なL1正則化のような単純な正則化だけでなく，グラフ型正則化や重複有りのグループ正則化のように，より複雑な構造的正則化もよく用いられている．本研究ではこのような構造的正則化学習を大規模データで実行するための確率的最適化技法として，交互方向乗数法の確率的最適化手法を提案していた．しかし，従来手法の欠点として，線形変換後のパラメータの次元が高くなりがちであるという点があった．そこで，毎回の更新でサンプルの一部の観測と，パラメータの一部の更新で済む手法を考案した．この手法は毎回の更新がこれまでの方法よりも単純であるという点で特徴的である．さらに，理論的に収束レートを導出し，従来手法と比べて改善されることがわかった．
また，二つのグラフィカルモデルの間に構造変化が起きたかどうかを判定する方法の統計的性質の理論的保証を行った．提案手法が既存手法よりも計算量が小さく，かつ統計的にも良い性質を有していることを示された．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
テンソル推定のようなデータの構造を利用した学習問題において，ミニマックスレートの導出など一定の理論的結果を与えることができた．
また，構造的正則化学習等で有用な確率的最適化の枠組みの整備が進み，より実用性が増してきている．
よって，当初の予定通り順調に研究は進行していると考えられる．
|
| Strategy for Future Research Activity |
理論研究について：正則化付きリスク最小化・ベイズ推定どちらにおいても，より一般的な設定での議論を行う．２６年度の研究で得られた知見を踏襲しつつ，実際に応用されている多様な例を含むよう，モデルを拡張する方向で理論を進め，様々な状況を包括するような一般論を展開する．また，ノンパラメトリックな推定手法を考察し，例えば，再生核ヒルベルト空間上のノンパラメトリックなテンソル推定を考察し，その統計的性質を考察する．また，時間的に変化するスパースなグラフィカルモデルの推定や，いくつかのスパース構造を複合的に持つような正則化学習問題を考え，その統計的理論を与える．このような問題は複数の関連するタスクを同時に学習するマルチタスク学習やロバストPCAといった文脈で現れる設定である．
アルゴリズム研究について：より大量のデータで学習できるように確率的最適化の理論を深めると同時に，並列化も可能なアルゴリズムを構築する．これらは，２６年度までに行ってきた研究をベースとして，それらをより発展させることで実現させる．また，スパースなベイズ推定のアルゴリズムにも力を入れ，構造的スパース性を誘導するような事前分布に関しては効率的なサンプリング法を提案する．その際，確率的最適化の研究で培った知見を適宜援用し，多量データに対応できるよう，サンプル数に対してスケーラブルな手法を模索する．
|
