2019 Fiscal Year Annual Research Report
Mathematics and Practical Algorithms for machine Learning methods with non-convex losses
| Project/Area Number |
16K00044
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
金森 敬文 東京工業大学, 情報理工学院, 教授 (60334546)
|
|---|
| Project Period (FY) |
2016-04-01 – 2020-03-31
|
| Keywords | 機械学習 / 数理統計学 / 最適化 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，非凸な損失に基づく実用的な学習アルゴリズムを開発し，その統計的性質を理論的に保証するための数理的基盤を構築することである．適切な非凸損失を用いるとき，大域解は優れた統計的性質を持つことが確認されている．しかし実際に大域解を求めることは困難であり，理論と現実の間にギャップが存在する．本研究では，データ解析において適切な非凸損失を設計するための方法論を体系化し，局所解であっても優れた統計的性質を持つ学習アルゴリズムを開発することが目標である．実用的に優れた学習アルゴリズムの構成，さらにその数理的基盤の構築などを目指し，研究に取り組んだ．最初の研究成果として，判別分析の代表的なアルゴリズムであるサポートベクトルマシンに対し，損失関数を非凸化した学習法の局所解の性質を数理的に解析した．その結果，局所最適解であっても外れ値に強く安定した予測精度を達成することが明らかになった．また不動点法に基づく学習アルゴリズムを提案し，さまざまな空間データに対して効率適に動作することを確認した．これらの成果は論文として2018年度に出版された． さらに，離散的なデータに対する統計的解析法を提案し，局所的な計算を用いることで，効率的に推定量を計算することができることを示した．この成果は2017年に論文として発表された．また非凸学習に関連するテーマとして，非線形下回帰分析，密度比推定，密度稜線推定，クラスタリングなどさまざまな問題に対して，統一的な観点に基づく統計的変数選択法を提案し，理論的な有効性を証明した．重要な応用例として，医療データにおける共変量シフト下での判別分析を行った．密度比推定を用いて複数の病院での医学データ統合するとき，提案した変数選択法が有用であることを実証した．
|
