2018 Fiscal Year Research-status Report
| Project/Area Number |
18K18114
|
|---|
| Research Institution | The Institute of Statistical Mathematics |
|---|
Principal Investigator |
今泉 允聡 統計数理研究所, 数理・推論研究系, 助教 (90814088)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | 深層学習 / ノンパラメトリック統計学 / ミニマックス最適性 |
|---|
| Outline of Annual Research Achievements |
本研究は、近年急速に普及・応用が進んでいる深層学習の安定化や省コスト化を目指し、その原理を明らかにする統計・数理的な理論の構築を行うものである。具体的には、既存理論が対象としてきたものよりも広範なクラスのデータ生成過程を考え、それから得られたデータのもとで深層学習の性能を解析し、他手法と差別化できる状況を明らかにする。
本研究では、"区分上でのみ滑らかな関数"からデータが生成されている場合、深層学習およびそれ以外の手法がどの様な性能を発揮するのかを理論的に明らかにした。これまでの統計理論において、データは微分可能な関数より生成されていることを考えることが多かったが、その状況下では深層学習以外の手法が最適性を持つことが示されているため、深層学習の優位性を示すことは出来なかった。対して、本研究が考えた区分上でのみ滑らかな関数は微分できない点を持つという性質があるため、既存手法が最適性能を発揮できず、深層学習との差別化ができることが期待された。
本研究は、その様な区分上でのみ滑らかな関数に数学的定義を与え、また深層学習がそのもとで発揮する精度を理論的に解析した。深層学習による推定量として、二乗誤差最小化および最適化の問題を持たないベイズ推定量を考えた。結果として、深層学習が理論上の最適（ミニマックス）性を達成することを示した。加えて、既存法のうち線形推定量に分類される推定量が最適性を達成しないことも示し、結果として区分上でのみ滑らかな関数を考える場合、深層学習の理論的優位性を証明することに成功した。この成果により、深層学習が他手法に優越できる理論的な状況を一つ特定できたことになり、深層学習の経験的な高性能を説明できる理論を一つ構築できた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
上記で得られた結果は、国際会議AI&Statisticsに採択され、論文が掲載された。また、アメリカ統計学会による連合統計大会や、中国で開催される国際数理統計機構（IMS）の学会など、複数の国際学会の招待講演セッションでの講演が決定している。論文の公開後に連絡を取り合った海外の研究者との共同研究も始まりつつある。これらを踏まえて、一つの研究トピックの開始という意味では順調に推移していると思われる。
また進捗を議論するにあたり、一つ懸念事項がある。今回の研究成果の論文は機械学習分野で投稿を行ってきたが、機械学習、特に深層学習の分野では推定精度の統計的評価よりも最適化に基づく学習手法に関心が強く、査読者から統計的評価について理解が得られないことが多かった。これらを踏まえて、本研究が関心としている関数推定理論と一致する研究関心を持つ様なコミュニティを、慎重に模索していくことが必要であると思われる。また並行して、最適化の影響を踏まえた学習全体の理論的評価の確立も急務であり、それらを並行して進めていくことが望まれる。
|
| Strategy for Future Research Activity |
今後の研究方針は、大きく分けて二つある。一つは、深層学習が他手法を優越する理論をより一般化していくこと、二つ目はそれらの理論に基づく学習支援アルゴリズムの開発である。
一つ目について、これまで得られた区分上でのみ滑らかな関数の分析結果を、より一般的な関数のクラスに拡張していくことを模索している。現状の区分上でのみ滑らかな関数は理論のために模索的に定義されたクラスであるが、画像のエッジ検出などの分野ではより包括的な関数クラスやその特徴づけが与えられている。本研究はそれらの結果を導入して、より一般化された関数の推定理論および深層学習の性能の特徴付けを進めていく。
また、関数の微分可能性以外にも、データの持つ低次元構造などから深層学習を説明する方法も模索している。これまでの微分の情報などを用いた関数推定の研究では、データを生成する関数そのものについて注目してきたが、実際にはデータの分布も重要な情報を持つことが経験的に知られている。それらの情報を数学的に厳密に扱うことで、深層学習の性能をより明らかにしていく。
二つ目について、これまで深層学習の性能を説明するのに重要なデータの性質が分かったことで、それらを補助的に推定し深層学習の実装を効率的に進める手法の開発が可能になった。例えば微分不可能な領域をデータから低コストに推定するなどの手法が考えられ、それらを進めることは、現状深層学習の実用の上で大きな問題になっているネットワーク選択のコストを削減できることが期待される。
|
| Causes of Carryover |
当初の予算で計算機用のパーツの購入を予定していたが、そのパーツ設置するべき計算機の購入が手続きの関係で遅れたため、購入するべきパーツが定まらず、次年度に見送ることになった。
|
