最適汎化ニューラルネットワークの能動的学習法に関する研究

1996 Fiscal Year Annual Research Report

• Project/Area Number: 08458076
• Research Category: Grant-in-Aid for Scientific Research (B)
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 小川 英光 東京工業大学, 大学院・情報理工学研究科, 教授 (50016630)
• Co-Investigator(Kenkyū-buntansha): 平林 晃 東京工業大学, 大学院・情報理工学研究科, 助手 (50272688) ; 熊沢 逸夫 東京工業大学, 大学院・情報理工学研究科, 助教授 (70186469)
• Keywords: 学習 / 汎化 / 最適汎化ニューラルネットワーク / 追加学習 / ニューラルネットワークの追加構成 / 訓練データの判別 / 訓練データの棄却 / 能動学習

Research Abstract

能動学習は,2つの問題に分けて考えることができる.第1は新しい訓練データをどのように選ぶかという問題であり,第2は,新しい訓練データが選ばれた後,最適な汎化能力をもつニューラルネットワークを,既に得られているニューラルネットワークと新しい訓練データだけを用いて,どのように構成していくかという追加学習の問題である.本年度は,この追加学習の問題を中心に研究を進めていった.
既に,ウィーナー学習の意味での追加学習の方式が与えられていた.しかし,その成果は汎化能力という情報科学の議論に限られたものであり,ニューラルネットワークを実際に構成するための結合荷重などのパラメータを決定するという情報工学としての議論はなされていなかった.また,情報科学の問題に限っても、いくつかの解は求められていたが,一般解については議論されていなかった.
そこで,まず情報科学の立場から,ウィーナー学習による追加学習の一般解を与えた.更に,射影学習や記憶学習に対しても同様に一般解を与えた.次に,情報工学の立場から,追加学習を行なうニューラルネットワークのパラメータの更新方法を与えた.
また,追加された訓練データが必要であるかどうかを2個のパラメータα,βを使って判別し,必要でないと判別された訓練データを棄却することにより,新しいニューラルネットワークを効率良く計算するアルゴリズムを与えた.従来は,この判別をβの値だけを使って行なっていた.新たにαを導入することにより,今まで棄却していた訓練データの中にも,学習にとって有効なものがあることを明らかにした.
この議論をもとにして,能動学習の第1の問題である新しい訓練データの選び方に対する1つの指針を得ることができた.即ち,α,βの値が正になるように訓練データを選ぶのである.この成果をもとにして,来年度は第1の問題を重点的に解明していく予定である.

Research Products

• [Publications] 中澤真介: "最適汎化ニューラルネットワークの最適構成法" 電子情報通信学会ニューロコンピューティング研究会. NC96-60. 17-24 (1996)
• [Publications] 中島朗子: "記憶学習と射影学習" 日本神経回路学会第7回全国大会. 2. 1035-1038 (1995)
• [Publications] Akira Hirabayashi: "Admissibility of menorization learning with respect to projection learning in the presence of noise" Proceedings of ICNN'96. 1. 335-340 (1996)
• [Publications] Naresh Kumar Gupta: "Optoelectronic architecture for cellular neural networks based on area and bias coding" CNNA-96. (1996)
• [Publications] 田中賢: "再帰高次結合ニューラルネットワークによる正規言語の学習" 電子情報通信学会論文誌. J79-D-II. 899-907 (1996)
• [Publications] 小川英光: "関数解析と逆問題" 電子情報通信学会誌. 79. 675-677 (1996)
• [Publications] 熊沢逸夫: "セルラ-Hough変換による形状抽出" 電子情報通信学会パターン認識メディア理解研究会. PRMU96-105. 9-16 (1996)
• [Publications] 熊沢逸夫: "方位別誘引場を用いる動的輪郭整合" 1996年電子情報通信学会情報・システムソサイエティ大会. D-354. 357-357 (1996)
• [Publications] Mang Li: "General frame multiresolution analysis and its wavelet frame representation" IEICE Trans. on Fundamentals of Electronics, Communications and Computer Sciences. E79-A. 1713-1721 (1996)