1995 Fiscal Year Annual Research Report
個体的進化アルゴリズムに基づく階層型パーセプトロンの構造的学習に関する研究
| Project/Area Number |
07858040
|
|---|
| Research Institution | The University of Aizu |
|---|
Principal Investigator |
趙 強福 会津大学, コンピュータ理工学部, 助教授 (90260421)
|
|---|
| Keywords | 進化アルゴリズム / 構造的学習 / 個体的進化アルゴリズム / 最近傍階層型パーセプトロン / パターン認識 |
|---|
| Research Abstract |
階層型パーセプトロン(MLP)の構造的学習とは、結合系数だけではなく、階層数、中間節点数及び中間節点の入力数を同時に決定する学習方法である。従来の方法は、計算量が大きくて、大規模なシステムの学習に不向きである。本研究では、個体的進化アルゴリズム(IEA)に基づいて、最近傍MLP(NN-MLP)の進化的学習方法を提案した。IEAにおいては、大きいシステムが多数の個体に分解され、個体の進化によってシステム全体の進化を図る。基本操作として、競合、獲得、減損と再訓練がある。競合は今現在のシステムの機能と各個体の適応度を評価する。システム機能が低いとき、新しい個体を導入することによってシステムの機能を向上させる。これは、システムが新しい個体を獲得した、或はその新しい個体は仕事を獲得したことに相当する。システム機能が十分高いとき、適応度の低い個体を淘汰することによってシステムを縮小する。このとき、システムの機能は多少減損し、また淘汰された個体も仕事を失うことになる。獲得と減損の後、各個体を再訓練することによってシステムの機能を向上させる。このように、競合、獲得、減損と再訓練を繰り返して実行することによって、最少の個体を有するシステムが進化的に構成できる。
システムをNN-MLP、個体を中間接点、仕事を訓練サンプルと定義すると、IEAは最少の中間接点を持つNN-MLPが設計できる。IEAを利用して構造的学習を行うためには、本研究では、特徴選択のできるニューロンモデルを提案した。このモデルにおいて、ニューロンが二種類の荷重、即ち、c-weight(細胞体荷重)とs-weight(シナプス荷重)がある。s-weightはシプナスの検出中心に対応し、c-weightは、細胞体の立場から見たシナプスの適応度である。正しい判別に対して重要なシナプスが大きい適応度を有する。各シナプスが一次元の円基底関数である。NN-MLPの進化においては、ある細胞が正しい判別を行ったとき、発火するシナプスの適応度が増加する。長期間進化の末、適応度の高いシナプスが保留し、低いものが淘汰される。従って、競合操作の中で、シナプスの適応度の評価も入れれば、IEAは中間接点数の少ない、且つ有用なシナプスだけを有するネットワークが設計できる。これは手書き数字認識の実験によって確かめている。
|
-
[Publications] Qiangfu Zhao: "Minimization of a three layered perceptron based on individual evolutionary algorithm" Proc.Inter.Conf.on Neural Networks and Signal Processing,Nanjing. Vol.1. 612-615 (1995)
-
[Publications] Qiangfu Zhao: "On-line cvolutionary learning of NN-MLP based on the attentional learning concept" Proc.Inter.Conf.on Neural Networks Washington,DC. (採用). (1996)
-
[Publications] Qiangfu Zhao: "Neural network learning based on co-evolution" Proc.Inter.Conf.on Neural Networks Washington,DC. (採用). (1996)
-
[Publications] Qiangfu Zhao: "Structural learning of MTM-MLP based individual evolutionary algorithm" Proc.Inter.Conf.on Evolutionary Computation Nagoya. (採用). (1996)
-
[Publications] Qiangfu Zhao: "Hierarchical evolutionary algorithm based on IEA and its application to structural learning" Proc.World Congress on Neural Networks San Diego. (採用). (1996)
