|
汎化能力向上のため正則化項を用いた学習が用いられる。汎化能力は正則化パラメータに依存するのみならず、正則化項にも大きく依存する。たとえば結合重みの自乗和であるガウシアン正則化項と結合重みの絶対値和であるラプラス正則化項の比較が例題上でなされているが、その結果はケースバイケースである。本所究は汎化誤差を理論的に導出し、これを用いて各正則化項がどの場合に高い汎化能力を持つかを明らかにし、さらに汎化能力の高い新たな正則化項を見つけることを目的とする。もちろん定式化できるのは単純な場合に限られ、ここでは線形回帰モデルを対象とする。
ここでのアプローチは、正則化項のある場合のモデルパラメータ推定値を、正則化項の無い場合の推定値の関数(たとえば後述のような区分線形関数)と考える方法である。関数のパラメータを含んだ形で汎化誤差が求まり、これが最小となる関数パラメータとモデルパラメータを求める。これにより正則化項を組み合わせたり、新しい正則化項を見つけだすことが可能になる。
ノイズを考慮してデータ数が多い場合には、モデルの最小非零パラメータ値よりも小さな領域ではラプラス正則化を、モデルの最大パラメータ値よりも大きい領域ではガウシアン正則化項を、中間領域では正則化項を用いないという定性的結果が得られた。データ数が少ない場合には、モデルの最小非零パラメータ値よりも大きな領域でラプラス正則化を、小さな領域では正則化を行わないのが良いという定性的結果が得られている。このような定性的性質は画期的なものである。さらに漸近的解析を行ない、データ数が多い場合の定性的性質に合致することを確認している。
実データへの本理論の適用、およびベイズ推定と汎化誤差との関連の解明が今後に残された課題である。前者に関しては、入力変数が互いに独立というここでの仮定を緩める必要がある。
|
