| 研究概要 |
本研究では、多層パーセプトロンなどに代表される非線形写像モデルの性質をそれに含まれるパラメータ(層数や素子数)との関連で明らかにし、非線形な枠組みにおける多変量解析(外的基準をもつ回帰分析、重回帰分析、判別分析ならびに外的基準をもたない主成分分析、因子分析など)の方法論を構築することを最終目標としている。その準備として前年度では、素子数が1-m-nとなるような3層パーセプトロンを例にとり、入出力写像の諸性質のうちm,nの変化に固有なものとして微分幾何学的な特徴に着目し、その特徴を解析した。
当該年度ではこの概念すなわち写像の微分幾何学的特徴量をより一般のトポロジをもつニューラルネットに敷延し、多変量解析での重回帰分析の基礎となる関数近似問題ならびに判別分析問題への応用を試みた。
更にこれを調査する過程で、写像の幾何学的特徴を微分幾何の観点のみでなく他の種々の幾何学的観点を取り入れて拡張した結果、写像特徴密度という、より上位の概念を導出するに至った。
以下、これらを具体的に述べる。
1.写像特徴密度の概念の導入とその性質の調査
非線形写像において、その出力空間に張られる多様体の幾何学的性質を表す適当な示性数を考え、これを写像に含まれる母数全体の空間で算出したものを密度分布化すれば、写像モデルに関する容量を定義できる。また、2個以上の写像モデルどうしで、その容量の比較、類似性の考察などが可能となる。
2.関数近似問題における大域的曲率の統計量に関する写像特徴密度の性質の調査
上記の示性数として大域的曲率を用いる。すなわち、一入力一出力のニューラルネットでの出力多様体全体にわたる絶対曲率の積分値を採用した場合、中間層素子数の増加に伴い「写像の容量」がどのように増大するかが評価できる。また、べき多項式関数における次数の増加に伴う同様の評価も可能であることから、べき多項式と3層ニューラルネットの「写像の容量」を比較することも可能であろう。これらは当該年度に実験的に明らかにされた。
3.非線形判別問題における大域的曲率の統計量に関する同様の調査
特徴空間において各々が正規分布に従う複数のクラスタが存在し、各々にはw1またはw2のいづれかのラベルが付されている。このような仮定のもと、w1のデータとw2のデータのみが与えられてそれらの真の境界を解析する問題は、パターン分類の分野ではよく知られている。本研究ではこの真の境界の複雑さを、クラスタの総数との関連において評価するために上記の大域的曲率による写像特徴密度を用いた。これによりクラスタ数の増加に伴う境界の複雑さの変化、また3層パーセプトロンの中間層nの増加に伴う出力境界の複雑さの同様な変化を評価することが可能となった。これはクラスタ数が予測できる場合のパターン分類問題などでの、パーセプトロンの素子数の推定に応用し得る。
本研究では前年度と当該年度を通して、非線形写像モデルによるデータ解析の方法、特に非線形モデルの写像の容量の評価、モデル推定に関する新たな方法論を提案するに至ったが、今後はこれらの有効性の検証が急務となろう。
|
