| 研究課題/領域番号 |
18K11433
|
|---|
| 研究機関 | 三重大学 |
|---|
研究代表者 |
萩原 克幸 三重大学, 教育学部, 教授 (60273348)
|
|---|
| 研究期間 (年度) |
2018-04-01 – 2021-03-31
|
| キーワード | 縮小推定 / スパース正則化 / モデル選択 / ニューラルネットワーク |
|---|
| 研究実績の概要 |
貪欲法の下でも縮小推定を導入することでモデル選択規準を導出できる方法としてLASSOが知られている。しかしながら、LASSOはバイアスが強いため、予測誤差に基づくモデル選択規準によりスパースな構造が選択されないという問題がある。これに関連して、Adaptive LASSO、SCADおよびMCPなどの方法が提案されてきた。本研究では、まず、LASSO推定量をスケーリングにより拡大することで、この問題が解決できることを示すとともに、Stein's Lemmaを応用して、スケーリングを導入した下での解析的なモデル選択規準を導出した。このスケーリングは、LASSO推定量を用いているため、adaptive LASSOのような２段階推定量となっているが、計算が簡単であり、かつ、SCADやMCPと異なり局所最小値が存在しないという利点がある。また、この規準は、LASSOを含めた他の方法と比較して、安定にスパースなモデルを選択できることが数値的に確かめられた。一方で、ニューラルネットワークについて、層数とオーバーフィッティングの関係についても研究を進めた。以前からの研究により、オーバーフィッティングは急峻な出力により引き起こされることが示唆されている。隠れ層を一つ配置したネットワークについては、急峻な出力を得るために結合重みが非常に大きな値をとる必要があった。こうした中、本研究において、いわゆる深層ネットワークについては、重みの値がそれほど大きくなくても、層数が多ければ、急峻な出力を簡単に学習できることを示した。これは、深層構造が急峻な出力を容易に表現できることに加えて、勾配法による学習では、そうした表現を速く獲得できるという意味である。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本研究では、ニューラルネットワークの学習とスパース学習の共通点に着目し、新しいスパース学習の下でのモデル選択規準の導出と、そのニューラルネットワークへの応用を考えている。まず、本研究では、LASSOの問題を解決し、計算が簡単であり、かつ解析的な取り扱いが容易な方法として、スケーリングを導入するスパース学習法を開発するとともに、そのモデル選択規準を導出した。これにより、前者の目的はほぼ達成できたといえる。ただし、さらなる改良や解析は必要である。一方で、ニューラルネットワークの問題については、まず、最近注目されている深層学習のオーバーフィッティングを考えるために、深層性の解析を行った段階である。
|
| 今後の研究の推進方策 |
まず、スパース学習については、スケーリングを導入したLASSOにおいて、adaptive LASSOのように、係数ごとにスケーリングを導入する場合の検討が応用面で必要である。また、MCPなどとの関係から、モデルの自由度が解析的に導出できるために必要となるスケーリングの条件を調べることは興味深い。特に、後者については、Stein's Lemmaが要求する推定量の解析性とモデルの自由度との関係を調べる方向で考えている。一方で、深層学習の場合において、層数とオーバーフィッティングの関係を調べる必要がある。これについては、オーバーフィッティングにより生じる汎化誤差の悪化の度合いとネットワーク出力の急峻さの関係を明らかにし、それに対する層数の寄与を調べる方向で考えている。
|
| 次年度使用額が生じた理由 |
予定していたものは購入できており、若干の差額分が余った状況である。この差額分については、来年度の書籍の購入などに割り当てる予定である。
|
