• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2003 年度 実績報告書

識別可能性が失われる場合の多層パーセプトロンの統計的性質に関する研究

研究課題

研究課題/領域番号 15700187
研究機関名古屋工業大学

研究代表者

萩原 克幸  名古屋工業大学, 工学研究科, 助教授 (60273348)

キーワード多層パーセプトロン / 識別可能性 / 特異モデル / 学習誤差 / モデル選択 / 正則化
研究概要

本研究では,識別可能性が失われる場合の多層パーセプトロンの学習誤差を解析した.こうした解析は,多層パーセプトロンのモデル選択および正則化の問題を考える上で重要である.これまでに,Gauss雑音の下での学習誤差の解析はGaussian processの最大値の解析に帰着されることが示されている.本研究では,統計的学習理論で用いられるε-coveringの概念を導入して,この問題をGauss分布に従う確率変数列の最大値の解析に帰着させ,その確率変数列の相関構造を評価することで,結合重みの範囲に応じて,学習誤差の確率的オーダーがlog log n/nやlog n/nなど多様性をもつことを示した.結合重みに対する制約が学習誤差の確率的オーダーに影響するという結果は,識別可能性が失われる場合のこれまでの解析および一般的な統計的学習理論における解析を通して,新しい結果である.ここでは,関数のクラスに対してpseudo-dimensionが有限であることだけを仮定しているため,本研究の結果は,Radial Basis Function Networkなどを含む広いモデルに対して成り立つ.さらに,本研究では,この解析結果を用いて,Gaussian素子によるGauss雑音下での回帰問題において,素子の幅パラメータの推定値が極端に小さい値となる確率がサンプル数の増加に従い1近づくことを示した.この結果は,経験的には知られていたが,理論的な支持が得られたのは本研究が初めてである.

  • 研究成果

    (2件)

すべて その他

すべて 文献書誌 (2件)

  • [文献書誌] 萩原克幸, 福水建次: "Over-fitting of a Gaussian unit under Gaussian noise"第6回情報論的学習理論ワークショップ予稿集. 229-234 (2003)

  • [文献書誌] Katsuyuki Hagiwara, Kenji Fukumizu: "Over-fitting behavior of Gaussian unit under Gaussian noise"International Joint Conference on Neural Networks 2004. (accepted). (2004)

URL: 

公開日: 2005-04-18   更新日: 2016-04-21  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi