| 研究概要 |
能動学習とは,ニューラルネットワーク自身が学習の途中経過をみながら次の訓練データを積極的に選んでいく学習であり,いわゆる追加学習の問題と,最適な訓練データの選び方の問題に分けて考えられる.
第1の追加学習(incremental learning)とは,ある訓練データに対して最適な汎化能力をもつニューラルネットワークが既に得られている状態で,新しく訓練データが追加されたとき,既に得られている最適汎化ニューラルネットワークと新しい訓練データだけを用いて効率よく学習を行う問題である.現在世の中で行われている追加学習の方法によれば,古い訓練データと新しく追加された訓練データを併せた全訓練データに対して最適な汎化能力を得ることはできず,ただその近似を得るだけであった.これに対して我々は,全く同じ汎化能力をもつニューラルネットワークを効率よく構成することができる追加学習の方法を確立した.
第2の最適な訓練データの選び方に関する問題に対しては,それが更にいくつかの型に分類できることを明らかにし,汎化能力の立場からみて最適な訓練データを一括して求めるという最も基本的な問題に対して1つの解を与えた.その結果,ある訓練データに対して既に学習が進んでいるときに新しく追加すべき訓練データを選択していくという,能動学習本来の問題を論じていくための基盤ができた.
また,ニューラルネットワークの学習によく使われる誤差逆伝搬法では,訓練誤差があまりに小さくなるまで学習を続けると,かえって汎化能力が低下するという過学習現象が知られている.我々はこの問題に対して,既に許容性という概念を導入することにより,理論的解決を与えている.即ち,各種許容性が成立するための必要十分条件を求め,過学習を防ぐための訓練データの設計法を与えている.本研究では,許容性の問題を能動学習の立場からみなおし,許容化問題という新しい問題を提起した.これは,ある訓練データに対して許容性が成立していないとき,更に訓練データを追加・削除することにより,許容性を成立させる問題である.汎化能力が最大になるような許容化教材の構成法を与えた.
|
