追加学習を行なう神経回路モデルによる事例ベース推論システムの構築

1998 Fiscal Year Annual Research Report

• Project/Area Number: 09780327
• Research Institution: Nagoya Institute of Technology
• Principal Investigator: 山内 康一郎 名古屋工業大学, 工学部, 助手 (00262949)
• Keywords: Case Based Reasoning / Neural Network / Incremental Learning / Generalized Radial Basis Function / Resource Allocating Network / Quick Adaptation / Pruning Redundant Cells / 情報集約

Research Abstract

近年,過去の事例を基に新しい問題を解く事例ベース推論が注目されている.この推論システムの核となる事例データベースを神経回路に置き換えることができれば,人力層に問題を提示して少数の細胞の活性値を計算するだけで,出力層に問題に適応した解が得られるため,推論効率が高まるものと期待できる.
昨年までの研究では,事例データベースとしての神経回路が新しい事例を追加的に学習できるように,効率の良い追加学習法の開発を行って来た.本年度は,まず,昨年度までの研究成果を具体的な推論システムに実装した.構築したシステムは,女性の化粧を支援するためのカラーコーディネイトシステムで,ユーザーはテーマカラーと自分の顔の肌の色をシステムのコンソールを使って入力する.すると中に組み込まれた神経回路がこのテーマカラーと肌の色を入力として目の淵,眉毛の下,および瞼に塗るアイカラー3色を出力して表示する.しかしユーザーがその3色を気に入らなかった場合にはユーザがコンソールからその3色を修正し,追加学習ボタンをクリックする.するとシステムは次回からはユーザの修正を反映した出力を出すようになる.このシステムは既に当該研究者のホームページで公開され,インターネットを通して誰でも利用できる.
しかし,神経回路が新しい事例を提示される度に確実に学習するようにした場合,その都度場当たり的に細胞を割り付ける必要があり,結果として冗長な中間細胞が増えてしまう.本年度はこれを解決するため,慎重に小数の細胞を割り付けながらゆっくり学習するS-Netと,S-Netのエラーを高速に補填するように多くの細胞を割り付けて学習を行うF-Netとを組み合わせた神経回路を構築した.この神経回路では,学習を続けるにしたがってS-Netのエラーは減少し,F-Netはゼロを出力するようになっていく.するとF-Netは自分の中間細胞のうち,ゼロ出力にのみ貢献する中間細胞を不要とみなして削除する.またこの神経回路の出力はF-Net+S-Netであり,学習の初期段階から全体(F-Net+S-Net)のエラーは小さく,朱だS-Netのエラーが大きい状態であっても推論が可能である.つまり推論システムの運用を行いながら,総細胞数を徐々に少なくしていける.だがS-Netの適応速度が遅いため,次々と領域の異なる新規パターンが提示され続けると,結局F-Netの細胞が増え続ける場合がある.これを解決するには定期的に新規パターンの学習をストップする以外に無い.そのため学習期間を昼と夜に分けて,昼は推論を行いつつ従来通りの学習をし,夜は新規パターンの学習をストップしてS-Netが(F-Net+S-Net)の出力を学習し,F-Netの冗長な細胞を削除するようにした.この昼と夜の学習を交互に繰り返すことでシステムは,常に総細胞数を少なく抑えながら推論を実行できるようになる.この夜の間の学習が生物における睡眠に対応する可能性がある.

Research Products

• [Publications] 山口,山内,石井: "関数空間上におけるノルムを用いた干渉量の定義と追加学習" 神経回路学会誌. Vol.4. 55-64 (1998)
• [Publications] 山内,伊藤,石井: "速い学習と遅い学習を用いた中間細胞消滅法" 第12回日本ME学会秋期大会論文集(CDROM). 233-236 (1998)
• [Publications] K.Yamauchi, T.Imai, N.Ishii: "An incremental learning method of GRBF with re-generation of input patterns-application for case based reasoning systems-." International Conference on Neural Information Processing(ICONIP'98). Vol.2. 761-766 (1998)
• [Publications] K.Yamauchi,N.Ishii: "Combination of fast and slow learning methods for fast adaptation and pruning of redundant cells." International Conference on Neural Information Processing(ICONIP'98). Vol.2. 757-760 (1998)
• [Publications] S.Itoh,S.Ishiguro,K.Ya-mauchi,N.Ishii: "Face Image Segmentation by detecting attentive regions of artificial neural network" International Conference on Neural Information. Vol.1. 364-368 (1998)
• [Publications] 山内,伊藤,石井: "神経回路による速い学習と遅い学習および睡眠学習を組み合わせた素子数消滅法" 電子情報通信学会技術報告. MBE98-113. 105-111 (1998)
• [Publications] 杉浦,竹内,山内,石井: "ベイズ推定を用いた異種センサー情報の評価と統合" 電子情報通信学会技術報告. NC98-70. 9-16 (1999)
• [Publications] 伊藤,山内,石井: "高速適応能力と情報集約能力を有する神経回路モデル(3月発表予定)" 電子情報通信学会技術報告. (1999)