1994 年度実績報告書

大域的な収束性と汎化能力を保証する多層人工神経網の新しい学習方式に関する研究

研究課題

研究課題/領域番号	06650429
研究機関	中央大学
研究代表者	趙晋輝中央大学, 理工学部, 助教授 (60227345)
研究分担者	牧野光則中央大学, 理工学部, 専任講師 (90238890)
キーワード	人工神経回路網 / 層状ニューラルネットワーク / 教師付き学習 / 逆誤差伝搬法 / 大域最適化
研究概要	多層人工神経回路網は、人間の脳神経系のモデリングに基づいており、高度並列分散構造を有する。特に適応学習、自己組織能力に優れており、任意の非線形情報処理系を実現することができる、という特性を有している。このため、高次情報処理を実現するに向けての新しいパラダイスとして、注目されている。しかし、現在最も広く利用されている誤差逆伝搬法などの学習方法では、局所極小解しか得られず、大域的な最適解を見いだすことができない。人工神経回路網の教師付き学習における局所極小解問題を解決するために、ランダム摂動を導入するSimulated Annealing法や、探索領域を細分化する方法が提案されているが、多層神経回路網の学習誤差曲面は一般に非常に複雑な形状をしており、大域最適値がしばしば狭くて急峻な谷底に存在するため、ランダムサーチ点が大域最適値に当たる確率は非常に低く、また、分割法を用いた場合は、非常に小さな部分領域まで細分化せねばならない。従って、大域最適値を見つけるために、非現実な計算時間を必要とする。本研究は、探索領域をコンパクトな多様体に変換することにより、任意C^1非線形汎関数の大域最小化理論を構築し、有限回探索で大域最適解に収束する層状神経回路網の新しい学習スキームを開発している。まず許容区域を、境界をスムーズに張り合わせることによって、境界のないコンパクトな閉微分多様体、具体的には例えばn次元のトーラスへ変換する。このような多様体の上で定義された任意C^1クラスの汎関数の勾配ベクトル場のとそのフローの微分位相幾何的な構造に基づき、任意の特異点を解消し、それ以外の特異転集合と大域的な微分特性を保存する“マジック・ブラッシング"法、及びコンパクトな多様体上のすべての極値点が勾配フローによって連結されていることを利用し、次々と新しい局所最適解を見つける“ローリングストーン法"という新しい手法を提案している。上記多様体の上で、これらの手法を繰り返すことにより、ベクトル場の系列を定義し、これらのベクトル場のフローに従う有限回の探索で大域最適解へ収束することが保証される。従って、本手法の適用により、多層人工神経回路編における教師付き学習の能率を大幅に向上させ、能率的な画像及びパターン認識方式を実現がさらに広く応用されることが期待できる。

研究成果

(7件)

すべてその他

すべて文献書誌 (7件)

[文献書誌] Chao,Ratanathwan,Tsujii: "On how to find global minima in finite times of Searches for MLP" Proc.of IEEE and INNS Jaint Int. Conf.IJCNN'91. 1079-1084 (1991)
[文献書誌] Chao,Ratanathwan,Tsujii: "A new global optimization method Rolling-Stone Scheme & Appl.to MLP" Artificial Nenral Networks(Elseviers Science Publisher). II-1. 395-398 (1992)
[文献書誌] Chao,Minowa,Tsujii: "Unsupervised learning of 3D Objects Conserving global topology" 電子情報通信学会英文論文誌. E76-A5. 749-753 (1993)
[文献書誌] Chao,Kawabe,Tsujii: "A New IIR Adaptive Echo Canceler:GIVE" IEEE Journal on Selected Areas in Communacation. 12-9. 1530-1539 (1995)
[文献書誌] 趙,河辺,辻井: "勾配型適応アルゴリズムの統一的考察と一次、二次モーメントの収束解析" 電子情報通信学会論文誌(A). J78-A,1. 21-29 (1995)
[文献書誌] 趙,佐藤,辻井: "安定かつ大域収束性で保証するIIR型適応アルゴズムの一提案" 電子情報通信学会論文誌(A). J78-A,2. 227-235 (1995)
[文献書誌] 辻井,久保田,趙: "適応アルゴリズムとニューラルネットワーク" 昭晃堂, 300 (1995)

1994 年度 実績報告書

大域的な収束性と汎化能力を保証する多層人工神経網の新しい学習方式に関する研究

研究代表者

趙 晋輝 中央大学, 理工学部, 助教授 (60227345)

研究成果

[文献書誌] Chao,Ratanathwan,Tsujii: "On how to find global minima in finite times of Searches for MLP" Proc.of IEEE and INNS Jaint Int. Conf.IJCNN'91. 1079-1084 (1991)

[文献書誌] Chao,Ratanathwan,Tsujii: "A new global optimization method Rolling-Stone Scheme & Appl.to MLP" Artificial Nenral Networks(Elseviers Science Publisher). II-1. 395-398 (1992)

[文献書誌] Chao,Minowa,Tsujii: "Unsupervised learning of 3D Objects Conserving global topology" 電子情報通信学会英文論文誌. E76-A5. 749-753 (1993)

[文献書誌] Chao,Kawabe,Tsujii: "A New IIR Adaptive Echo Canceler:GIVE" IEEE Journal on Selected Areas in Communacation. 12-9. 1530-1539 (1995)

[文献書誌] 趙,河辺,辻井: "勾配型適応アルゴリズムの統一的考察と一次、二次モーメントの収束解析" 電子情報通信学会論文誌(A). J78-A,1. 21-29 (1995)

[文献書誌] 趙,佐藤,辻井: "安定かつ大域収束性で保証するIIR型適応アルゴズムの一提案" 電子情報通信学会論文誌(A). J78-A,2. 227-235 (1995)

[文献書誌] 辻井,久保田,趙: "適応アルゴリズムとニューラルネットワーク" 昭晃堂, 300 (1995)

1994 年度実績報告書

趙晋輝中央大学, 理工学部, 助教授 (60227345)