最適汎化ニューラルネットワークの能動的学習法に関する研究

1997 Fiscal Year Annual Research Report

• Project/Area Number: 08458076
• Research Institution: TOKYO INSTITUTE OF TECHNOLOGY
• Principal Investigator: 小川 英光 東京工業大学, 大学院・情報理工学研究科, 教授 (50016630)
• Co-Investigator(Kenkyū-buntansha): 平林 晃 東京工業大学, 大学院・情報理工学研究科, 助手 (50272688) ; 熊沢 逸夫 東京工業大学, 大学院・情報理工学研究科, 助教授 (70186469)
• Keywords: ニューラルネットワーク / 学習 / 汎化能力 / 追加学習 / 能動学習 / 過学習 / 許容性 / 許容化問題

Research Abstract

能動学習とは,ニューラルネットワーク自身が学習の途中経過をみながら次の訓練データを積極的に選んでいく学習であり,基本的な問題が2つある.第1は追加学習の問題である.ある訓練データに対して最適な汎化能力をもつニューラルネットワークが既に得られている状態で新しく訓練データが追加されたとき,既に得られている学習結果と新しい訓練データだけを用いて効率よく学習を行う問題である.子の問題に対して,古い訓練データと新しく追加された訓練データを併せた全訓練データに対して最適な汎化能力と全く同じ汎化能力を得る追加学習の方法を確立した.第2の問題は訓練データの選び方の問題である.同じ数の訓練データに対して最大の汎化能力を獲得できるような訓練データの設計法を与えた.
ニューラルネットワークの学習によく使われる誤差逆伝搬法では,訓練誤差があまりにも小さくなるまで学習を続けるとかえって汎化能力が低下するという過学習現象が知られている.これは,学習のために用いた誤差逆伝搬法の評価基準と,学習が終了した後で汎化能力を議論するときに用いる評価基準が異なっていることに起因する.後者を本来の評価基準,前者をその代替評価基準とみなすことにより,"本来の評価基準の代替評価基準に対する許容性"という概念を導入して,この問題を理論的に解決した.即ち,各種許容性が成立するための必要条件を求め,過学習を防ぐための訓練データの設計法を与えた.また,許容性の問題を能動学習の立場からみなおし,許容化問題という新しい問題を提起した.これは,ある訓練データに対して許容性が成立しないとき,更に訓練データを追加・削除することにより,許容性を成立させる問題である.汎化能力が最大になるような許容化教材の構成法を与えた.

Research Products

• [Publications] Akira Hirabayashi: "Admissibility of memorization lerning with respect to projection leaning in the presence of noise" Proceedings of ICNN ′96. 1. 335-340 (1996)
• [Publications] Akiko Nakashima: "Noise suppression in training data for improoving generalization" Proceedings of IJCNN ′98. (発表予定). (1998)
• [Publications] 池野 靖行: "相対KL変換法によるパターン認識" 電子情報通信学会論文誌(D-II). J80-D-II. 541-547 (1997)
• [Publications] Yukihiko Yamashita: "Relative Karhunen-Loeve transform and an optimum sampling" Proceedings of ICOTA. (発表予定). (1998)
• [Publications] Mang Li: "General frame multiresolution analysys and its wavelet frame representation" IEICE Trans. on Fundamentals of Electromics, Communications and Computer Sciences. E79-A. 1713-1721 (1997)
• [Publications] Mang Li: "Paley-Wiener multiresolution multiresolution analysys and Paley-Wiener wavelet frame" IEICE Trans. on Fundamentals of Electronics, Communications and Computer Sciences. E79-A. 2555-2561 (1997)
• [Publications] 中澤 真介: "最適汎化ニューラルネットワークの最適構成法" 電子情報通信学会ニューロコンピューティング研究会. NC96. 17-24 (1996)
• [Publications] 杉山 将: "最適汎化のための射影追加学習" 電子情報通信学会ニューロコンピューティング研究会. (発表予定). (1998)
• [Publications] 杉山 将: "雑音が存在する場合の射影追加学習" 1998年電子情報通信学会総合大会. (発表予定). (1998)
• [Publications] 平林 晃: "射影学習族の記憶学習に対する許容性" 日本神経回路学会第8回全国大会. 192-193 (1997)
• [Publications] 中島 朗子: "記憶学習と射影学習" 日本神経回路学会第7回全国大会. 59-60 (1996)
• [Publications] 中島 朗子: "雑音を含んだ訓練データに対する誤り修正型記憶学習" 電子情報通信学会ニューロコンピューティング研究会. NC97. 51-58 (1997)
• [Publications] 中島 朗子: "訓練データの雑音抑制と汎化能力" 電子情報通信学会,ニューロコンピューティング研究会. NC97. 59-66 (1997)
• [Publications] 坂本 正臣: "教材の追加・削除による記憶学習の射影学習に対する最適許容化" 1998年電子情報通信学会総合大会. (発表予定). (1998)
• [Publications] 李 芒: "部分空間法による読唇" 電子情報通信学会パターン認識・メディア理解研究会. PRMU97. 9-14 (1997)
• [Publications] Mang Li: "Self-similar tiling multiresolution analysys and its realization via wavelet basis" 第12回ディジタル信号処理シンポジウム. B7-3. 561-566 (1997)
• [Publications] 李 芒: "自己相似タイリング多重解像度解析とそのウェーブレット基底による実現" 1997年電子情報通信学会ソサイエティ大会. D-11-15. (1997)
• [Publications] 李 芒: "印刷文字の多重解像度解析によるレーザプリンタの自動判別" 第3回画像センシングシンポジウム. G-21. 323-328 (1997)
• [Publications] 李 芒: "レーザプリンタの自動判別について" 電子情報通信学会パターン認識・メディア理解研究会. PRMU97. 79-86 (1997)
• [Publications] 李 芒: "ウェーブレット解析による3次元物体認識" 電子情報通信学会パターン認識・メディア理解研究会. PRMU97. 57-62 (1997)
• [Publications] 稲葉 文男 (編): "光コンピューティングの事典" 朝倉書店, (1997)
• [Publications] 大石 進一 (編): "電子情報通信と数学" 電子情報通信学会, (1998)