2002 Fiscal Year Annual Research Report
| Project/Area Number |
02J03153
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
山口 誠 早稲田大学, 教育学部, 特別研究員(PD)
|
|---|
| Keywords | connectionism / catastrophic interference / back propagation |
|---|
| Research Abstract |
誤差逆伝播則を用いたコネクショニストモデルは新たに学習すると以前の学習がすぐさま完全に壊れると信じられている(catastrophic interference)。これはどの状況でも成立し、隠れ層の数などを変えても効果がないとされてきたが、本年度の研究の結果、これは俗説に近いものであり今まで研究者に過大視されてきたことがわかった。
直行した入力ベクトルを用いると、新たな学習後も、以前の学習が保たれた。これは隠れ層の数に依存し、数が多いほど干渉が少なくなった。人間の脳を考えると膨大なユニット数を使うことは正当化される。学習則の変更も、ユニットの活性化関数(シグモイド関数)の変更もせず、慣性項も用いずに、つまり純粋な勾配降下法で軽微な干渉が得られたのでこの結果は一般的なものである。相関などのcontinuousな基準だけでなく、discreteな基準も用いて誤答数を記録した。後者の基準では、十分な隠れ層があるとき誤答の一つもない完全な遂行も見られた。教師信号は[0,1]を用いると干渉が大きくなり、試行数を数倍にしたり、cross entropyを使っても同様であった。これは先行研究で見られた重大な干渉の一因である。したがって教師信号は、たとえば[0.1,0.9]のようにするのが望ましい。また学習するパターンが多いほど干渉が大きくなった。初期の研究者がlocal minimumと主張したものは実はplateauであったことが示唆された。
本質的ではないが技巧的工夫により、互いに直行したベクトルを容易に作る方法を考案した。他の研究者にも使用されることが期待される。
|
