2017 Fiscal Year Annual Research Report
ロス関数の自動選択アルゴリズムと系列データへの拡張の解析
| Project/Area Number |
16J06659
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
HOLLAND Matthew James 奈良先端科学技術大学院大学, 情報科学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2016-04-22 – 2018-03-31
|
| Keywords | 機械学習 / 統計的学習理論 |
|---|
| Outline of Annual Research Achievements |
本研究では、機械学習アルゴリズムで使われる「フィードバック」に相当する損失関数をデータに応じて自動的に決めていく方法論を築き上げることが目的であった。そのために、計算効率と統計的推定の精度の両立を念頭に入れつつ、新しいアルゴリズムを提案し、その学習能力を理論および数値実験によって解析してきた。以下の2点を中心に研究を行った。
1. 頑健な目的関数を用いた学習機の高速化と安定化：経験損失最小化(ERM)がという学習則は、理論上の知見が多く、実装も簡易であるという利点を持つ一方、データの標本ごとのばらつきや外れ値に対しては敏感で、都合の悪いデータでは性能が大きく低下するという脆弱性もある。ERMの目的関数を改良すべく、外れ値と判断されるデータを破棄するのではなく、その影響を連続的に抑える仕組みと新しい目的関数を高速に最小化する方法を開発し、多種の学習課題において、案手法はERMと同程度の計算量で、より安定的に高い汎化性能を確認した。
2. ロバスト勾配下降法による学習効率の向上：ニューラルネットワークをはじめとして、近年の機械学習手法は自由パラメータが多く、計算コストの抑えやすい勾配降下法(GD)の一種が使われる。しかしながら、GDは先述のERMを実装する上で使われるため、統計的推定の粗さによって、最適化作業が乱されやすくなってしまう。結果として、多くのサンプル数(コスト＝データ)と反復回数(コスト＝時間)がなければ、良い解には至らない。この弱点を解決して学習効率を上げるために、上記(1.)の知見を踏まえて、GD特有の頑健な設計方法を開発し、実験・理論ともに優れた汎化能力と高い実用性を示した。頑健性を欠くERM系の各手法と比較して、データの分布に依らず性能を保持する能力が長けている。この成果を出発点にして、「推論×計算」の統合的アプローチを様々な問題領域へと展開していく予定である。
|
| Research Progress Status |
29年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
29年度が最終年度であるため、記入しない。
|
