識別可能性が失われる場合の多層パーセプトロンの統計的性質に関する研究

2003 Fiscal Year Annual Research Report

• Project/Area Number: 15700187
• Research Institution: Nagoya Institute of Technology
• Principal Investigator: 萩原 克幸 名古屋工業大学, 工学研究科, 助教授 (60273348)
• Keywords: 多層パーセプトロン / 識別可能性 / 特異モデル / 学習誤差 / モデル選択 / 正則化

Research Abstract

本研究では,識別可能性が失われる場合の多層パーセプトロンの学習誤差を解析した.こうした解析は,多層パーセプトロンのモデル選択および正則化の問題を考える上で重要である.これまでに,Gauss雑音の下での学習誤差の解析はGaussian processの最大値の解析に帰着されることが示されている.本研究では,統計的学習理論で用いられるε-coveringの概念を導入して,この問題をGauss分布に従う確率変数列の最大値の解析に帰着させ,その確率変数列の相関構造を評価することで,結合重みの範囲に応じて,学習誤差の確率的オーダーがlog log n/nやlog n/nなど多様性をもつことを示した.結合重みに対する制約が学習誤差の確率的オーダーに影響するという結果は,識別可能性が失われる場合のこれまでの解析および一般的な統計的学習理論における解析を通して,新しい結果である.ここでは,関数のクラスに対してpseudo-dimensionが有限であることだけを仮定しているため,本研究の結果は,Radial Basis Function Networkなどを含む広いモデルに対して成り立つ.さらに,本研究では,この解析結果を用いて,Gaussian素子によるGauss雑音下での回帰問題において,素子の幅パラメータの推定値が極端に小さい値となる確率がサンプル数の増加に従い1近づくことを示した.この結果は,経験的には知られていたが,理論的な支持が得られたのは本研究が初めてである.

Research Products

• [Publications] 萩原克幸, 福水建次: "Over-fitting of a Gaussian unit under Gaussian noise"第6回情報論的学習理論ワークショップ予稿集. 229-234 (2003)
• [Publications] Katsuyuki Hagiwara, Kenji Fukumizu: "Over-fitting behavior of Gaussian unit under Gaussian noise"International Joint Conference on Neural Networks 2004. (accepted). (2004)