2000 Fiscal Year Annual Research Report
速い学習と遅い学習を組み合わせた 高速適応能力を損なわない素子数削減法
| Project/Area Number |
11780264
|
|---|
| Research Institution | Hokkaido University |
|---|
Principal Investigator |
山内 康一郎 北海道大学, 大学院・工学研究科, 助教授 (00262949)
|
|---|
| Keywords | Neural Network / Incremental Learning / Radial Basis Function / Resource Allocating Network / Quick Adaptation / Pruning Redundant Cells / 情報集約 / 情報圧縮 |
|---|
| Research Abstract |
神経回路などのモデルベースの学習機械は,テーブルルックアップ手法等のように全事例記憶型の学習機械に比べて少ないパラメータ数で実現できるため,小規模な計算機でも高度な能力を実現できるという特徴を持つ.
しかし,神経回路の従来の学習方法では,追加的な学習を行わせると,一部の記憶を忘却すると言う問題がある.これは少ないパラメータに多くの事例を集約させて記憶させるためであり,一つのパラメータを別の事例に合わせるように学習させると,過去に提示した事例の記憶を破壊するのである.これを防ぐには,神経回路に冗長なパラメータ(中間細胞)を増やせばある程度防ぐことが可能だが,これではテーブルルックアップ手法と変わり無く,神経回路を使うメリットが無くなってしまう.
そこで昨年度は、認識を専門に行うMain Networkと,昼間に暫定的にテーブルルックアップ手法と似た形で新規事例を高速に学習するFast-Learning-Network(F-Net),夜の間にF-Netの学習結果を少ないパラメータに圧縮し記憶するSlow-Learning-Network(S-Net)によって構成されるモデルを構築した.F-NetとS-NetはいずれもGaussian Radial Basis Function Networkと呼ばれるネットワークで構成されていて,その中間細胞の出力関数はガウス関数で表現される.
本年度は上記モデルの夜間の学習手法について、以下の二つの手法を同時並行的に検討した。一つは、F-Netのパラメータから疑似学習パターンを生成して、S-Netに対して従来手法を用いてゆっくりと細胞の生成と淘汰とを同時並行的に行わせながら学習させる方法。もう一つは、F-Netの細胞群の中で似通った性質を持つ細胞同士を併合する方法である。
前者は、疑似パターンをできるだけ実際に学習したパターンに近くなるように工夫できれば、少ない計算量で目的が達成できる。しかし、疑似パターンが実際とはかなり異なるパターンになってしまう場合が有ることが問題である。一方、後者は疑似パターンの生成が全く必要が無いと言うメリットが有るものの、多次元入力パターンを扱う場合には計算量が爆発的に増えてしまうと言う問題が有る。そこで、これら二つの手法を同時並行的に改良を進めた。
その結果、前者の方は多次元パターンのべンチマークテストに耐え得るシステムに仕上った。一方、後者のモデルでは、2次元入力パターンに対してまでではあるが、併合する細胞の候補を発見する手続きを効率化してある程度の高速化が図れた。
|
Research Products
(5 results)
-
[Publications] K.Yamauchi, Sachio Itho and N.Ishii: "Wake-Sleep Learning Method for Quick Adaptation and Reduction of Redundant Cells."ICONIP 2000 7th International Conference on Neural Information Processing.. Vol.1. 559-564 (2000)
-
[Publications] N.Yamaguchi, K.Yamauchi, N.Ishii: "A Method for Merging Hidden Units of RBF Networks"ICONIP 2000 7th International Conference on Neural Information Processing. Vol.2. 1105-1107 (2000)
-
[Publications] 皆川,山口,山内,石井,高橋: "再学習の必要の無い追加学習法と計算量の削減"電子情報通信学会技術報告. NC99-127. 73-80 (2000)
-
[Publications] 山口,山内,石井: "RBFネットワークにおける再学習を必要としない中間細胞併合法"電子情報通信学会技術報告. NC2000 (3月15日発表) . (2001)
-
[Publications] 田川,山内,石井,伊藤: "睡眠期間を持つ神経回路による追加学習と素子数削減"電子情報通信学会技術報告. NC2000 (3月16日発表). (2001)
