1994 Fiscal Year Annual Research Report

コネクショニストモデルを用いた非線形データ解析手法の研究

Research Project

Project/Area Number	05808028
Research Institution	Ibaraki University
Principal Investigator	米倉達広茨城大学, 工学部, 助教授 (70240372)
Keywords	多層パーセプトロン / 非線形写像 / 多変量解析 / 微分幾何学 / 幾何学的性質 / 写像特徴密度 / 大域的曲率 / 写像の容量
Research Abstract	本研究では、多層パーセプトロンなどに代表される非線形写像モデルの性質をそれに含まれるパラメータ(層数や素子数)との関連で明らかにし、非線形な枠組みにおける多変量解析(外的基準をもつ回帰分析、重回帰分析、判別分析ならびに外的基準をもたない主成分分析、因子分析など)の方法論を構築することを最終目標としている。その準備として前年度では、素子数が1-m-nとなるような3層パーセプトロンを例にとり、入出力写像の諸性質のうちm,nの変化に固有なものとして微分幾何学的な特徴に着目し、その特徴を解析した。当該年度ではこの概念すなわち写像の微分幾何学的特徴量をより一般のトポロジをもつニューラルネットに敷延し、多変量解析での重回帰分析の基礎となる関数近似問題ならびに判別分析問題への応用を試みた。更にこれを調査する過程で、写像の幾何学的特徴を微分幾何の観点のみでなく他の種々の幾何学的観点を取り入れて拡張した結果、写像特徴密度という、より上位の概念を導出するに至った。以下、これらを具体的に述べる。 1.写像特徴密度の概念の導入とその性質の調査非線形写像において、その出力空間に張られる多様体の幾何学的性質を表す適当な示性数を考え、これを写像に含まれる母数全体の空間で算出したものを密度分布化すれば、写像モデルに関する容量を定義できる。また、2個以上の写像モデルどうしで、その容量の比較、類似性の考察などが可能となる。 2.関数近似問題における大域的曲率の統計量に関する写像特徴密度の性質の調査上記の示性数として大域的曲率を用いる。すなわち、一入力一出力のニューラルネットでの出力多様体全体にわたる絶対曲率の積分値を採用した場合、中間層素子数の増加に伴い「写像の容量」がどのように増大するかが評価できる。また、べき多項式関数における次数の増加に伴う同様の評価も可能であることから、べき多項式と3層ニューラルネットの「写像の容量」を比較することも可能であろう。これらは当該年度に実験的に明らかにされた。 3.非線形判別問題における大域的曲率の統計量に関する同様の調査特徴空間において各々が正規分布に従う複数のクラスタが存在し、各々にはw1またはw2のいづれかのラベルが付されている。このような仮定のもと、w1のデータとw2のデータのみが与えられてそれらの真の境界を解析する問題は、パターン分類の分野ではよく知られている。本研究ではこの真の境界の複雑さを、クラスタの総数との関連において評価するために上記の大域的曲率による写像特徴密度を用いた。これによりクラスタ数の増加に伴う境界の複雑さの変化、また3層パーセプトロンの中間層nの増加に伴う出力境界の複雑さの同様な変化を評価することが可能となった。これはクラスタ数が予測できる場合のパターン分類問題などでの、パーセプトロンの素子数の推定に応用し得る。本研究では前年度と当該年度を通して、非線形写像モデルによるデータ解析の方法、特に非線形モデルの写像の容量の評価、モデル推定に関する新たな方法論を提案するに至ったが、今後はこれらの有効性の検証が急務となろう。

Research Products
(6 results)

All Other

All Publications (6 results)

[Publications] Tatsuhiro Yonekura: "Piecewise Linear Factor Analysis by Four Layer Neural Nets and Its Application for Modeling the Partial Dischorge Data" Proc.2nd Iut'l Forum on Appl.of Neural Net Power Systems(IEEE). 1of1. 475-480 (1993)
[Publications] 松本哲也: "幾何学的観点から見た多層パーセプトロンの能力評価" 電子情報通信学会技術報告. NC93-38. 57-62 (1993)
[Publications] Tetsuya Matsumoto: "Evaluation of the Capability of Multilayer Perceptrou Using Total Curvature of Hypersurface in the Output Space" Proc.Iut'l Joint Conf.on Neural Nets 1993(INNS&IEEE). 2of3. 1443-1446 (1993)
[Publications] 根本正清: "判別関数を用いたカテゴリ間境界の微分幾何学的性質に関する一考察" 電子情報通信学会技術報告. PRU94-19. 1-8 (1994)
[Publications] Masakiyo Nemoto: "A Study on Relationship Between Geometrical Property of Noulinear Mappiug & Its Capability" 平成6年度修士学位論文(茨城大学大学院工学研究科審査済). (1995)
[Publications] 根本正清: "写像の幾何学的特徴を用いた非線形モデルの関数近似能力評価法の提案" 電子情報通信学会春季全国大会. D-29. (1995)

1994 Fiscal Year Annual Research Report

コネクショニストモデルを用いた非線形データ解析手法の研究

Principal Investigator

米倉 達広 茨城大学, 工学部, 助教授 (70240372)

Research Products

[Publications] Tatsuhiro Yonekura: "Piecewise Linear Factor Analysis by Four Layer Neural Nets and Its Application for Modeling the Partial Dischorge Data" Proc.2nd Iut'l Forum on Appl.of Neural Net Power Systems(IEEE). 1of1. 475-480 (1993)

[Publications] 松本哲也: "幾何学的観点から見た多層パーセプトロンの能力評価" 電子情報通信学会 技術報告. NC93-38. 57-62 (1993)

[Publications] Tetsuya Matsumoto: "Evaluation of the Capability of Multilayer Perceptrou Using Total Curvature of Hypersurface in the Output Space" Proc.Iut'l Joint Conf.on Neural Nets 1993(INNS&IEEE). 2of3. 1443-1446 (1993)

[Publications] 根本正清: "判別関数を用いたカテゴリ間境界の微分幾何学的性質に関する一考察" 電子情報通信学会 技術報告. PRU94-19. 1-8 (1994)

[Publications] Masakiyo Nemoto: "A Study on Relationship Between Geometrical Property of Noulinear Mappiug & Its Capability" 平成6年度修士学位論文(茨城大学大学院工学研究科審査済). (1995)

[Publications] 根本正清: "写像の幾何学的特徴を用いた非線形モデルの関数近似能力評価法の提案" 電子情報通信学会 春季全国大会. D-29. (1995)

米倉達広茨城大学, 工学部, 助教授 (70240372)

[Publications] 松本哲也: "幾何学的観点から見た多層パーセプトロンの能力評価" 電子情報通信学会技術報告. NC93-38. 57-62 (1993)

[Publications] 根本正清: "判別関数を用いたカテゴリ間境界の微分幾何学的性質に関する一考察" 電子情報通信学会技術報告. PRU94-19. 1-8 (1994)

[Publications] 根本正清: "写像の幾何学的特徴を用いた非線形モデルの関数近似能力評価法の提案" 電子情報通信学会春季全国大会. D-29. (1995)