2016 Fiscal Year Research-status Report
非凸損失による機械学習アルゴリズムの数理と実用化に関する研究
| Project/Area Number |
16K00044
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
金森 敬文 名古屋大学, 情報学研究科, 教授 (60334546)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 数理統計学 / 機械学習 / ロバスト |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，非凸な損失関数に基づく実用的な学習アルゴリズムを開発し，その統計的性質を理論的に保証するための数理的基盤を構築することである．適切な非凸損失の大域解は優れた統計的性質を持つことがあるが，実際に大域解を求めることは困難である．ロバスト推定やスパース・モデリングなどにおいて非凸損失の有用性が指摘されながらも，数理的な困難さから，大域解とは限らない局所解の統計的性質を解明する研究はあまり進んでいない．今年度は主に，機械学習の分野で進展しているサポートベクトルマシンのロバスト化に関する研究を推進した．サポートベクトルマシンとは，主に2値判別問題に適用される学習アルゴリズムである．同様の学習アルゴリズムは，多値判別や回帰分析，1-クラス判別などにおいても有用であることが示されている．サポートベクトルマシンの学習では凸性をもつ損失関数を最小化するため，計算効率が高いことが知られている．一方で，データの外れ値などに弱く，学習結果の信頼性を保証することが困難であることが長年指摘されていた．従来は，非凸損失を用いるヒューリスティックな学習法でサポートベクトルマシンをロバスト化する研究が進められていた．しかし理論的な保証がなく，また非凸損失に対する局所解の問題に対しては，対処法が全く存在しないという状況であった．本研究テーマに沿ってさまざまな考察を重ね，我々は理論的な精度保証をもつロバスト・サポートベクトルマシンを開発し，その成果を英語論文として出版した．同論文では，非凸損失に対する局所解の問題を解決している．すなわち，実現可能な適切な学習アルゴリズムを用いると，そのアルゴリズムによって得られるどのような局所解も統計的に十分ロバストであることを理論的に証明することに成功した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度はサポートベクトルマシンの2値判別について，非凸化アプローチの研究を推進して，局所解に対して理論的な保証を与えるという成果を得た．これについては，予定通り進展したと言える．さらに当初の予定では，2値判別だけでなく回帰分析，１クラス分類，ランキングなどさまざまな統計的諸問題に拡張することを想定していた．この方向での研究は現在進行中であり，部分的な成果を英語論文としてまとめて投稿中である．ロバスト・サポートベクトルマシンの統計的性質を理論的に厳密に調べるという研究については，当初の計画通りに進行している．一方で，学習アルゴリズムについては，既存の手法(例えば，2つの凸関数の差として表される関数の最小化法)を適用するにどとまっている．最適化アルゴリズムについては，従来の手法を大きく越えて改良を試みるところまでは，考察していないのが現状である．学習アルゴリズムの統計的性質を深く研究することに若干時間を多く使った結果と考えられる．また，統計学や機械学習のみならず，数理ファイナンスや意思決定理論など，損失関数が重要な役割を果たす幅広い分野との関連を追求し，広く応用可能な理論体系の構築を目指す点については，まだ発展の途上である．これについては，現在さまざまな関連研究分野の文献等を調査中である．
|
| Strategy for Future Research Activity |
非凸損失を用いるロバスト・サポートベクトルマシンの研究では，学習アルゴリズムに対する理論的な性能評価と効率的な最適化法の開発を，さらに強力に推進することを計画している．これまでの研究において，非凸損失であってもできるだけ最適解に近いほうがロバスト性と汎化性を両立できることが，自身のこれまでの研究によって明らかになりつつある．これを踏まえて，近年進展している確率最適化などの知見を取り入れつつ，非凸損失に対する最適化法の計算効率を改良することは十分意義があると考える．上記の研究とは異なる非凸損失の方法論として，来年度以降は大規模確率モデルに対する統計的推論の研究を推進することを計画している．大規模確率モデルでは，規格化定数の計算が困難であるため，通常用いられる最尤推定などの標準的な手法を適用することが難しい．これに対して，最尤推定などの推定量に対するさまざまな近似手法が提案されている．また，規格化定数の計算そのものを必要としない，擬似尤度法などの推定法が提案されている．このような方面での研究では，推定量を構成する上で計算量の削減が重要であった．しかし，統計的な精度保証についても考察を深める段階にきていると考えられる．今後，さらに大規模統計モデルの非凸損失による推定について議論を進める必要がある．この方向の研究について，これまでの知見を動員して研究を推進することを計画している．十分に理論が成熟した後，プログラムのパッケージ化などまで含めて，周辺分野を巻き込んで研究を発展させていくための環境作りを積極的に行うことも視野に入れ，準備を進めていくことを予定している．
|
| Causes of Carryover |
国内ワークショップを開催する必要が生じ，参加予定だった学会等に参加できなかったため，次年度使用額が194,311円生じた．
|
| Expenditure Plan for Carryover Budget |
来年度以降に請求する研究費と合わせた使用計画については大きな変更はない．
|
-
-
-
-
-
-
-
-
-
[Book] モデリングの諸相2016
Author(s)
室田一雄, 池上敦子, 土谷隆, 山下浩, 蒲地 政文, 畔上秀幸, 斉藤努, 枇々木規雄, 滝根哲哉, 金森敬文
Total Pages
35
Publisher
近代科学社
