2020 年度研究成果報告書

縮小推定を導入した貪欲法の下でのモデル選択規準についての研究

研究課題

PDF

研究課題/領域番号	18K11433
研究種目	基盤研究(C)
配分区分	基金
応募区分	一般
審査区分	小区分61030:知能情報学関連
研究機関	三重大学
研究代表者	萩原克幸三重大学, 教育学部, 教授 (60273348)
研究期間 (年度)	2018-04-01 – 2021-03-31
キーワード	スパース学習 / 階層型ニューラルネット / モデル選択 / 正則化 / 縮小推定
研究成果の概要	本研究では、階層型ニューラルネットやスパース学習に共通するモデル選択の問題を扱う。特に、ここでは、正則化・縮小推定の下でのモデル選択を考えた。まず、スパース学習において、正則化法であるLASSOのバイアス問題を解決するスケーリング法を考え、その下でのモデル選択規準を導出し、応用上の妥当性を数値的に確認した。さらに、スケーリング法を利用して、ノンパラメトリック直交回帰の下での統一的なモデリング法を与えるとともに、その汎化性を理論的に解析した。一方で、階層型ニューラルネットについては、モデル選択に関係して、その深層化による学習の傾向とオーバーフィッテイングの関係を調べた。
自由記述の分野	機械学習
研究成果の学術的意義や社会的意義	最近、機械学習分野では、深層学習およびスパース学習という二つのキーワードが注目されており、社会的にもインパクトを与えているが、モデル選択の問題はまだ研究が続いている。これらは独立に発展しているが、深層学習の基本である階層型のニューラルネットとスパース学習は、いずれも、学習によって選択できる関数達の線形結合により構成されるモデルを考えているという共通点をもつ。これまでの研究で、こうしたモデルを貪欲法の下で学習した場合、予測誤差の推定値がモデル選択規準として応用可能な形にならないことが知られている。本研究は、この問題を解決するために、縮小推定を導入した下でのモデル選択を考えるものである。