追加学習を行なう神経回路モデルによる事例ベース推論システムの構築

1997 Fiscal Year Annual Research Report

• Project/Area Number: 09780327
• Research Institution: Nagoya Institute of Technology
• Principal Investigator: 山内 康一郎 名古屋工業大学, 工学部・知能情報システム学科, 助手 (00262949)
• Keywords: Case Based Reasoning / Neural Network / Incremental Learning / Generalized Radial Basis Function / Resource Allocating Network

Research Abstract

近年,過去の事例を基に新しい問題を解く事例ベース推論が注目されている.この手法では,過去の事例を事例データベースに蓄積し,新しい問題が提示された際には,それに最も良く似た事例を検索し,それを問題にあうように適応させた上で解を出力する.もしこの解が間違っていれば専門家が修正し,その問題と正しい解とを新しい事例として事例データベースに追加する.この事例データベースを神経回路に置き換えることができれば,入力に問題を提示して少数の細胞の活性値を計算するだけで,汎化能力によって出力層に問題に適応した解が得られる.そのため推論効率が高まるものと期待できる.
本研究では,これを実現するために,新しい事例を効率良く追加学習する神経回路を構築し,事例データベースとして使用する.この神経回路はGeneralized Radial Basis Function (GRBF)に適応的に中間細胞を追加する神経回路Resource Allocating Network (RAN)を使用し,新しい事例を学習する際には,その学習によって干渉を受けると予想される過去の事例を想起して共に学習する.この追加学習システムの性能をいくつかのベンチマーク用データセットを用いて「追加学習した事例の個数」に対する「全事例に対する二乗誤差の総和」で評価した.その結果、一般的に広く使われているk-Nearest Neighbor(k-NN)よりも速く二乗誤差が減少し,且つk-NNよりも十分に少ない素子数(中間細胞数)でこれを実現できたことを確認した.そしてこのシステムを,カラーコーディネートシステムに実装した.
だが,ここで使用している追加学習システムでは,提示された新規事例を確実に記憶するために,新しい細胞を多く割り付ける傾向がある.これは,場合によっては冗長な中間細胞を多く発生させ,いたずらに計算量を増加させることもあり,必ずしも望ましいことではない.そこで,速い適応能力を保持しつつ中間細胞数を削減する手法も検討した.この手法では,慎重に細胞を割り付けて遅く学習するネットワークに,その誤差を補填するように中間細胞を多く割り付けて高速学習するネットワークが付加されている.最終出力はこの二つのネットワークの出力の和である.遅く学習するネットワークの誤差がゼロに近付くと高速学習ネットワークは常にゼロを出力するようになり,その中間細胞も不要と見なされて削除されていく.これによりシステムは,学習の初期段階から高い精度で関数近似する能力を持つため,学習と認識との同時実行が可能である.そして運用途中に総細胞数が徐々に減少して実行効率が向上していくのである.今後このシステムに,上述した追加学習法を適用し,事例ベース推論に応用していきたい.

Research Products

• [Publications] 山内康一郎: "神経回路による干渉を受けるパターンの想起と追加学習" 電子情報通信学会論文誌. J80-D-II. 295-305 (1997)
• [Publications] 山口暢彦: "関数空間上におけるノルムを用いた干渉量の定義と追加学習" 日本神経回路学会第8回全国大会講演論文集. 194-195 (1997)
• [Publications] 山内康一郎: "速い学習と遅い学習との組み合わせによる中間細胞数削減法" 日本神経回路学会第8回全国大会講演論文集. 202-203 (1997)
• [Publications] K. YAMAUCHI: "Incremental learning method of GRBF with recalling interfered Patterns-application for case based reasoning systems-" International Conference on Neural Information Processing. Vol.2. 859-864 (1997)
• [Publications] 山内康一郎: "速い学習と遅い学習を用いた中間細胞削減法" 電子情報通信学会技術報告. NC97-60. 39-46 (1997)
• [Publications] 山内康一郎: "GRBFによる干渉を受けるパターンの想起と追加学習-事例べ一ス推論への適用-" 電子情報通信学会技術報告. NC97(3月発表予定). (1998)