| 研究課題/領域番号 |
18K18114
|
|---|
| 研究機関 | 統計数理研究所 |
|---|
研究代表者 |
今泉 允聡 統計数理研究所, 数理・推論研究系, 助教 (90814088)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2022-03-31
|
| キーワード | 深層学習 / ノンパラメトリック統計学 / 学習理論 |
|---|
| 研究実績の概要 |
本研究課題は、深層学習が高性能を発揮する原因を解明するための、統計理論の構築を行っている。深層学習は非常に高い性能を持つ手法として近年強い注目を浴びているが、その理由を十分に解明する理論は未だ確立されていない。本研究では、その原理の究明を目的として、統計理論、特にノンパラメトリック統計学の関数推定の理論の構築を行なっている。
今年度の成果は、主に三点挙げられる。一つ目は、データを推定する関数の特異性について、関連手法との関係を明らかにしたことである。データを推定する関数が非連続な時に深層学習が優位性を持つことは、以前の年度のこの研究の成果であった。今年度はそれをさらに深掘り、関数が持つ非連続性の性質、すなわち特異性を持つ点の集合との関連を明らかにした。
二つ目は、データの固有次元と深層学習の関係である。機械学習で用いられるデータの多くが、名目上の次元より低い固有の次元を持っていることはよく知られている。本研究ではこの関係に注目し、データが小さな固有次元を持つ時に、深層学習の性能もそれに応じて改善することを示した。また、そのような固有次元に対する適応性を持つ手法は他にも複数知られているが、本研究では深層学習でのみ解決できることが示されている次元の種類があることを発見した。
三つ目は、データの不変性との関連である。先程の固有次元と類似した現象で、データが特有の不変性を持つことはよく知られている。本研究では、データが不変性を持つときの深層学習手法について、その不変性と汎化誤差との関連性を明らかにし、深層学習の構造が不変性に対して優位に働くことを示した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本研究は、申請時に立てた研究計画の目的A「深層学習の非滑らかな関数推定の精度解析」、B「深層学習が優位性を発揮する状況の解析」、C「深層学習の実用化に向けたモデル構築法の開発」のうち、A,Bの相当割合を達成していると言える。すなわち、統計理論や学習理論を用いて深層学習の精度を解析し、またその優位性を明らかにする状況を複数発見している。具体的に扱っている性質も、データの特異性や不変性など一般的に重要視されている性質が多く、汎用的な問題関心について研究を進めていると考えられる。
|
| 今後の研究の推進方策 |
今後の研究課題は、以下の二点を中心に行う。
一つ目は、深層学習の分散に関する研究課題である。これは、汎化の謎としてもよく知られている課題で、深層学習が巨大モデルを使うにもかかわらず、過適合を発生させない原因を明らかにしようとするものである。本研究の課題は、これまではデータを生成する関数の性質に着目するものが多かったが、この課題はモデルに着目する点が多く、全く別のアプローチが必要である。これに対して、本研究では解析のための数学的方法の開発に着手しており、これらを用いた理論の開発を推進する予定である。
二つ目は、深層学習の学習手法の開発である。これは、本研究計画の申請書の目的Cに該当する。すなわち、理論的知見をもとにして、深層学習の実用を効率化できる手法の開発を行う。これも準備段階に既に着手しており、今年度中に一つの成果を出せることが見込まれている。
|
| 次年度使用額が生じた理由 |
コロナウイルスの関係で、いくつかの学会がキャンセルになり、その分の旅費・滞在費が未使用になったため。
|
