| Research Abstract |
多層パーセプトロンは可変基底の線形結合として表わされ,可変基底は特異モデルを特徴付ける重要な性質である。そこで,本研究では,これまでに基底の可変性に着目して研究を進めてきた。本年度は,基底の可変性の観点からノンパラメトリック回帰の縮小推定法を提案した。ノンパラメトリック回帰は,多くの(例えば,学習データ数と同程度の)基底関数の線形結合で表わされる学習機械の出力を学習データに当てはめる問題である。機械学習においては,例えば,SVMなどがこの種の回帰を実現している。そこでは,オーバーフィッティングの回避などの目的のために,学習機械の表現を基底関数の数に関してスパースにすることが求められる。スパースネスの確保は,多数の基底関数の中から,学習データを適切に説明する比較的少ない数の基底関数の組を選ぶことに対応しており,この問題は,可変基底の線形結合で表わされる学習機械のモデル選択の問題に他ならない。本研究では,基底を適当な変換により直交化し,直交化された基底の下で適当なスレッシュホールディングによりスパースネスを確保することで,逆変換により,学習機械の出力を得る方法を提案した。この方法により得られる重みの推定量は縮小推定量となり,汎化誤差を改善することが可能である。このスレッシュホールディングにおける閾値は,これまでの特異モデルに関する研究に基づく理論的な妥当性を踏まえて導かれたものであり,特に重要なことは,この方法が,クリティカルなパラメータを必要としない,高速な方法であるという点である。簡単な数値実験では,この方法は,正則化パラメータをクロスバリデーションに決める方法と同程度の汎化誤差を与える学習機械を,比較的簡単に構成できることが示された。
|
