| 研究概要 |
本研究は,特異モデルとしての多層パーセプトロンの統計的性質を明らかにし,そのモデル選択など応用上の問題を解決することを目的とする.多層パーセプトロンの特異性は基底関数が可変であることに起因して生じ,その基底関数は学習において出力が学習データに適合するように調整することができる.この性質は,通常の正則な学習機械と異なる統計的性質を生じる.例えば,ガウス雑音に対するオーバーフィッティングの度合は,正則な学習機会の場合定数オーダーであるのに対して,多層パーセプトロンや基底関数の可変性をもつ単純な学習機械の場合,学習データ数をnとして,log(n)のオーダーとなることが示される.本研究の一連の流れでは,基底関数の形状に対してある種の制約をいれた場合に,その上界がlog(log(n))となることが示されている.この際の制約では,基底関数が入力空間上で極端に局所的な関数となることを締め出す形をしており,雑音に対するオーバーフィッティングの状況を明らかにするものとしても有用な結果である.また,この制約は重み空間の制約によって実現できることから,重み空間の制約とオーバーフィッティングの度合の間の関係を量的に記述したものとしても重要である.本年度の研究では,定数に関して改善を行い,この上界をtightな形で改良した.この結果については,現在Neural Networks誌に投稿中である.一方で,基底関数が線形従属となるような状況において学習の停滞(プラトー)が生じることが指摘さている.先述した基底関数の局所性は実はこうした線形従属性の強い状況において構成されるため,学習の停滞とオーバーフィッティングの仕方はともに基底関数の線形従属性を回避することによって実現できると考えられる.そこで,本研究では,基底関数の線形従属性に対するペナルティ項を誤差関数に付加したコスト関数の下で学習を行う方法をシグモイド型の基底関数の場合に数値的に試してみた.その結果,実際に学習の停滞が回避されるとともに,オーバーフィッティングがある程度抑えられることが分かった.ただし,応用上は,さらに出力重みに正則化項を付加する方が汎化性は改善されるなど,いくつかの拡張が必要であることが分かった.また,学習の停滞が実際の問題においてどの程度本質的となるかを数値的に調べた.その結果,単純な回帰の問題の場合,多次元入力の場合の学習では,線形従属性に起因した学習の停滞があまり生じないことが分かった.これは多次元入力の場合,線形従属性が生じる確率は低くなるためであると考えられるが,この点については今後詳しく調べる必要がある.
|
