2010 Fiscal Year Annual Research Report
| Project/Area Number |
21500215
|
|---|
| Research Institution | Mie University |
|---|
Principal Investigator |
萩原 克幸 三重大学, 教育学部, 准教授 (60273348)
|
|---|
| Keywords | 多層パーセプトロン / ノンパラメトリック回帰 / 極値理論 / モデル選択 / 汎化誤差 / 学習理論 |
|---|
| Research Abstract |
本研究では、多層パーセプトロンを用いた非線形回帰のモデル選択を考える上で、基底可変型関数の学習誤差・汎化誤差を研究した。誤差項の正規性を仮定した場合、この場合の誤差の理論解析は、相関のある正規確率変数列の最大値の評価に帰着される。この問題は、確率・統計において十分な解が得られていない問題である。本研究では、これを基底関数の直交化を用いて、独立な正規確率変数列の最大値の理論解析に帰着させて、厳密な漸近分析に持ち込む方法を考えた。これに基づき、ノンパラメトリック回帰において、閾値法を用いて汎化性の良いモデルの推定法を与えた。この方法は、多くの基底関数から適切なものを選ぶという点で、多層パーセプトロンの学習と似た構造をもつものである。これは、基底関数を直交化し、直交化された基底関数の中で不必要なものを適当な閾値により削除し、元の基底関数に変換することで汎化性を向上させる方法である。本研究では、理論的に妥当な閾値を上記の理論解析に基づき導出し、数値実験において、調整すべき余分な学習パラメータを導入せずに、自動的に従来の正則化法などと同程度の汎化性をもつモデルを推定できることを示した。本研究は、現在、電子情報通信学会英論文誌に投稿中であり、今後は、この方法を多層パーセプトロンのモデル選択に応用することを考える。一方で、極値理論におけるNormal Comparison Lemmaを応用した相関のある正規確率変数列の最大値の評価を、線形回帰の残差の最大値の漸近評価に応用し、これはJournal of statistical planning and inferenceに投稿中である。この理論解析は、多層パーセプトロンの学習誤差の理論解析およびモデル選択に応用できる可能性があり、現在、準備段階として、ノンパラメトリック回帰の問題に対して、不必要な基底関数を直接削除するための閾値の理論解析とその応用に取り組んでおり、その後、多層パーセプトロンの理論解析への応用を進める予定である。
|
