|
本研究では、多層パーセプトロンの非線形写像の性質を素子数、層数などとの関連で明らかにし、非線形な枠組みにおける多変量解析(外的基準をもつ回帰分析、重回帰分析、判別分析ならびに外的基準をもたない主成分分析、因子分析など)の方法論を構築することを最終目標としている。そのための準備段階として、当該年度では、多層パーセプトロンの汎化能力を統計論的に評価しようとする立場ではなく、それの実現する写像における幾何学的性質を直接的に解析しようとする立場をとった。すなわち・筆者らは文献(1)および(2)において、多層パーセプトロンの写像を関数とみたときの関数全体の群が、層数や素子数によってどのように変化するかについて微分幾何学的に考察した。その一環として、まず最初に写像としての多層パーセプトロンの能力を解析する一手法を提案した。
・具体的には、入力層、中間層、出力層の各素子数を1、m、nとした場合の多層パーセプトロンについて結線の重みとしきい値を全て固定すれば、入力素子の値を負の無限大から正の無限大に変化させたときに出力空間R^nには1次元多様体の軌跡が張られる。ここで重みとしきい値をそれらの値域で変化させ、生成される個々の1次元多様体の全曲率のそれらについての平均を、3層パーセプトロン(1-m-n)の写像能力に対する一つの評価関数とする。この評価関数は理論的に中間層素子数m、出力層素子数nについて単調増加となり得ることは文献(3)などの結果から容易に類推できるが、文献(2)においてこれを始めて定式化し、3層(1-m-n)および4層(1-m-k-n)の場合について、それらの具体的な値を測定する数値シミュレーション実験を行った。
・その結果、全曲率の統計量は層数や素子数に対して単調に増加しており、同評価関数が多層パーセプトロンの写像能力(すなわち近似可能な関数空間の大きさ)の評価に有効であることが確認できた。また、全曲率に与える影響は入力層に近い層の素子数の方が、遠い層の素子数に比較して相対的に大であることが確認できた。
以上の議論を、より一般のトポロジーをもつ多層パーセプトロンに敷延し、微分幾何学的な観点からの関数近似能力ならびにデータ解析能力を考察する予定である。
|
