冗長な構造を有する人口ニューラルネットワークに関する研究

1998 Fiscal Year Annual Research Report

• Project/Area Number: 09680383
• Research Institution: Ryukoku University
• Principal Investigator: 堤 一義 龍谷大学, 理工学部, 助教授 (30197735)
• Keywords: ニューラルネットワーク / ダイナミクス / 冗長性 / 連想記憶 / 最適化問題 / ホップフィールド / モジュール / 緩和

Research Abstract

本研究代表者は、これまでに、「写像」と「緩和」という2つのパラダイムを統合した人工ニューラルネットワークモデルを提案し、連想記憶などのタスクを課することによってモデルの特性を調べてきた。擬記憶問題の改善など、標準的な緩和型ネットに比べて優れた特性を示すことが明らかになりつつある。一般に、連想記憶のタスクでは、記銘すべき点は状態空間内の1点(固定点アトラクタ)として場所が分かっており、写像能力のあるネットを導入することの効果はある程度予想することが可能であった。しかしながら一方、最適化問題の場合には、連想記憶タスクの場合とは異なりネットワークに記銘すべき点の位置は不明であり、むしろその点がどこに存在しているかを探索すること自体がタスクとなる。そのため、緩和プロセスの中に「写像」を導入することの意味付けは困難であり、最適化の際に遭遇するローカルミニマムの問題を解決するには、上述のモデルをそのまま応用することはできず、別なアプローチが必要であった。
そのような状況のもと、本研究代表者は、自由度を上げるためではなく自由度を抑制するために「ネットワークの冗長さ」を利用することを考え、本研究において、「構造の冗長性」というこれまでにない全く新しい視点に立ったニューラルネットワークのモデルを構築した。そして、その基本的な振る舞いを、単純構造のモデルに絞って解析とシミュレーションの両面から調べたところ、モジュール数が増加するにつれ、その構造的冗長性によって初期値依存性が弱くなり、モジュール数が十分に多い場合には、ニューロンの状態は常に大局的な最小値に収束することが明らかとなった。冗長な構造を有する大工ニューラルネットワークは、最適化問題を解くのに適した構造をしている可能性があり、今後より規模の大きなネットワークを調べることが重要であると考えられる。

Research Products

• [Publications] 小澤誠一, 堤一義, 馬場則夫: "クロス結合ホップフィールドネットから導出される連想記憶モデルとそのノイズ空間ダイナミクスの役割" 電気学会論文誌. Vol.C-117 No.7. 1253-1258 (1997)
• [Publications] S.Ozawa, K.Tsutsumi, N.Baba: "An Associative Memory Model from Cross-Coupled Hopfield Nets and the Role of Noise-Space Dynamics (上記の英語版)" Electrical Engineering in Japan(John Wiley & Sons). Vol.125 No.2. 27-34 (1998)
• [Publications] 小澤誠一, 堤一義, 馬場則夫: "モジュール構造ニューラルネットから導出される自己想起連想記憶モデルとその連想特性の多様性" システム制御情報学会論文誌. Vol.10 No.12. 668-678 (1997)
• [Publications] S.Ozawa, K.Tsutsumi, N.Baba: "An Artificial Modular Neural Network and Its Basic Dynamical Characteristics" Biological Cybernetics. Vol.78 No.1. 19-36 (1998)
• [Publications] S.Ozawa, K.Tsutsumi, N.Baba: "Design of Modular Neural Network Architectures Using Genetic Algorithms" Proc.of International Conference on Newral Information Processing(ICONIP'98-kitakyushu). Vol.III. 1608-1611 (1998)