2016 Fiscal Year Annual Research Report
ロス関数の自動選択アルゴリズムと系列データへの拡張の解析
| Project/Area Number |
16J06659
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
HOLLAND MATTHEW JAMES 奈良先端科学技術大学院大学, 情報科学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2016-04-22 – 2018-03-31
|
| Keywords | ロバスト推定 / 確率的最適化 |
|---|
| Outline of Annual Research Achievements |
研究実績の概要を以下3点にまとめて記す。
1.実数値予測の手法：本研究で提案したアルゴリズムは最先端の手法より大幅に高性能であり、方法論的有効性を明確に示した。結果として、学習則自体のほかに、計算量を減らすための高速化方法も大変有効であった。このことから、多種の問題にも応用できる見込みがあり、汎用性の高い知見を生み出したといえる。
2.計算コストと高性能のトレードオフ最適化：高い推定性能の保証ができても、その対価として新たな計算コストが伴う。ただし、算法の設計次第では、コストとパフォーマンスの比が大きく異なる可能性があるため、この研究は最低限の計算コストで最大限の性能向上を得ることを目的としている。そこで、目的関数の設計ではなく、最小化方法から出発することにした。その最大の利点は、最小化方法で必要となる情報のみ推定し、余計な計算を一切行わないところにある。これは推定する量が限定的なほど、計算リソースを集中させることが容易くなり、推定誤差の伝播が最小限に抑えられるという着想に基づく。性能は従来の手法よりも高く、コストも許容範囲内である。理論上の保証は他の文献と異なり、新たな算法方法を示した知見になったと考える。
3.データが膨大で多次元であっても実用性を保持する算法：現代の人工知能技術を代表する多層ニューラルネットワークが駆使されるビッグデータ問題では膨大な計算コストは不可避である。従来の確率的勾配降下法の性能の不安定である原因は、統計的推定の粗さにある。本研究では、更新時の推定能力を少しでも上げると、必要な反復回数が大幅に減少するという考えに基づき、新しいロバスト推定方法を利用したアルゴリズムを提案し、その性能解析を現在行なっている。理論上の性能は従来よりも強力で、また初期の数値実験結果は期待どおりであるため、今後この評価作業を本格化して、報告をまとめていく予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では、機械学習(ML)の基盤技術に当たる目的関数設計とその最小化算法(=学習則)の提案と性能解析を目的としている。ここ1年間の実施状況を概観すると、まずは問題を解くための基礎的技法を調査・開発するための時間を確保した。その成果を土台として、代表的なML課題向けに新しいアルゴリズムを提案し、その性能を理論と実践(数値実験等)の両面において解析した。最後に、この解析によって得られた新しい知見を、基礎的技法にフィードバックして開発ツールの強化・深化を図るという流れで本研究を進めてきた。
上記の別欄で述べた研究実績は、ロス関数の設計をもって造られたアルゴリズムの提案にほかならない。一年目の計画では目的関数の性質を丹念に調べ、有益な算法につなげることを掲げていたので、研究は着実に捗っているといえる。
|
| Strategy for Future Research Activity |
調査・解析の初期段階にある研究：
数々のML問題に登場する基盤技術には、ノンパラメトリック密度推定が挙げられる。問題が難しいため、多くの観測データを要する上、従来の手法ではデータが少ない場合の性能は信頼性がきわめて低い。上記の基礎的技法はデータが少ない状況下でも使える推定量を構築するので、この技法を密度推定に適応すると理論・実践ともに従来より大幅な性能向上が見込めるであろうと考えて、その作業に取りかかっているところである。
次年度に向けて調査中の案：
上記のrgdとR-SGD各種の提案算法はいずれも勾配情報の正確な取得(推定)により実現されている。しかし、収束レートを大幅に高める方法として、二階微分の情報を用いるニュートン法とその類はよく知られている。上記の問題と同様、データから真の目的関数を推定する必要がある場合は、その安定的な推定こそが良い解への速い収束の鍵であると考えている。また、勾配に適用した技法は、ある程度の工夫さえすれば、ヘッセ行列や高次のモーメント推定にも使えるため、大変有望な問題群であると見て、現在は調査中である。
|
| Remarks |
現時点で確定していない査読中のものは複数件投稿しているため、2017年度の春先以降は昨年度の研究成果を発表することになる見込みである。
|
