| 研究概要 |
本研究の目的は,多層パーセプトロンの統計的性質を特異モデルの観点から明らかにすることにある.多層パーセプトロンは可変基底の線形結合として表わされ,可変基底は特異性を特徴付ける重要な性質である.そこで,本研究では,可変基底に着目した.現在までに,多層パーセプトロンを含む,可変基底の線形結合として表わされる一般的な関数系について,ガウス雑音の下での学習誤差が確率的な上界が求められている.本研究では,まず,基底関数の出力が局在しないような制約を設けた場合の学習誤差の確率的な下界(対数尤度比の上界)を,その制約に依存した形で導出した.この制約は,多層パーセプトロンの場合,入力重みに制約を設けることに対応する.この結果に基づき,学習において,ガウス素子1つの特殊な場合であるが,曲率の高い出力が得られる確率が高くなることを示した.一方,有限個の直交関数の集合から基底関数を選ぶという可変基底の場合について,汎化誤差と学習誤差の厳密な期待値を導出した.これにより,可変基底の線形結合で表わされる学習機械について,汎化誤差と学習誤差の差分が真の関数に依存することが示された.これは,そうした学習機械に対するAIC型のモデル選択規準が,通常は未知である真の関数に依存する形となることを意味する.さらに,本研究では,適当な縮小推定を導入することにより,汎化誤差と学習誤差の漸近的な期待値の差分が真の関数に依存しない形で導出されることを示した.本研究では,さらに,以上の結果を利用して,SVM型のノンパラメトリック回帰について,縮小推定の方法を与えた.この方法は,基底関数の出力ベクトルを直交化することにより,直交性を満たす可変基底の場合のモデル選択の問題に帰着させ,ガウス雑音に対するオーバーフィッティングの度合の見積もりを閾値レベルとして,スパースネスを保持する方法である.以上の研究より,可変基底の性質の解析とその解析の応用が進展した.
|
