研究課題/領域番号 |
21K12048
|
研究種目 |
基盤研究(C)
|
配分区分 | 基金 |
応募区分 | 一般 |
審査区分 |
小区分61040:ソフトコンピューティング関連
|
研究機関 | 三重大学 |
研究代表者 |
萩原 克幸 三重大学, 教育学部, 教授 (60273348)
|
研究期間 (年度) |
2021-04-01 – 2024-03-31
|
研究課題ステータス |
交付 (2022年度)
|
配分額 *注記 |
2,860千円 (直接経費: 2,200千円、間接経費: 660千円)
2023年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2022年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2021年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
|
キーワード | 汎化性 / Soft-thresholding / Bridge推定量 / Data Augmentation / Soft-Thresholding / Hard-Thresholding / スケーリング / ブリッジ推定量 / LASSO / スパース学習 / モデル選択規準 |
研究開始時の研究の概要 |
機械学習分野で注目されている深層学習(階層型ニューラルネットワーク)とスパース学習は、独立な技術のように思われているが、いずれも、関数の集まりからいくつかの関数を学習により選んで、その線形結合により入出力関係を記述するという共通点をもつ。本研究は、こうしたモデルのモデル選択の問題を理論的に考え、リスクの推定量としてモデル選択規準を導出することを目指している。一般に、貪欲法の下では、応用において利用できるモデル選択規準を導出することはできないが、縮小推定の下での規準は構成できる可能性があり、本研究では効果的な縮小推定の方法とその下でのモデル選択規準を考える。
|
研究実績の概要 |
本研究では、前年度、直交回帰の場合のLASSO推定量であるSoft-Thresholding推定量のスケーリングに基づくBridge推定量を導き、その理論的意義、汎化における有効性およびモデル自由度の非単調性の原因を明らかにしてきた。今年度は、そうした結果を論文にまとめ、それが出版された。また、統計的回帰とモデル選択に係る書籍も出版した。一方で、この結果は、一般の場合について、デザイン行列を直交展開して、その上でスパース性をもつモデリングに応用することができ、それはリッジ正則化のモデル選択に対応する。そこで、リッジ正則化の観点から、近年注目されているData Augmentationに注目して研究を進めた。一般に、入力にノイズを混入させる方法は正則化と同じ働きをすることが知られており、ノイズ分散が正則化パラメータと対応するため、ノイズ分散を決めることがモデル選択となる。Data Augmentationの立場では、ノイズを混入したデータを追加する(それによって補強する)方法が用いられることがある。画像の問題では、これは、Adversarial Attackを回避するためのロバストな方法を提供するが、汎化性の観点からの研究はなされていない。本研究では、ノイズを入力に加えるData Augmentationを線形回帰に適用する場合の学習について理論的に調べた。その結果、Data Augumentationはスパースな表現を与えない正則化に対応しているが、学習率を増加させるという見かけ上の加速化の効果とリッジ正則化の効果があることを明らかにするとともに、ニューラルネットワークについてもこの性質をもつことを数値例によって確かめた。
|
現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
直交回帰の場合についての目的は達成できた。これを直接一般の場合のスパースモデリングに適用することは難しいが、一般の場合のリッジ正則化の下でのモデル選択を考えることができると考えている。これに関連して、今年度は、近年注目されているData Augumentationの学習における効果の一つとしてリッジ正則化があることを明確にできた。
|
今後の研究の推進方策 |
今後は、直交性を満たさない一般の場合について、スパース性を考慮したモデル選択の問題を考える。その一つの方向として、特に、ノンパラメトリック回帰の場合について、デザイン行列を直交展開して、その上でスパース性をもつモデリングを考える。この場合には、直交性を満たす場合のBridge推定量に対するモデル選択が適用できて、それはリッジ正則化における正則化パラメータの選択に対応すると考えている。
|