2006 Fiscal Year Annual Research Report
層状フィードフォワードネットワークによる相関の強い確率分布の学習
| Project/Area Number |
18500178
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Research Institution | Tohoku Bunka Gakuen University |
|---|
Principal Investigator |
藤木 澄義 東北文化学園大学, 健康社会システム研究科, 教授 (00209032)
|
|---|
| Keywords | ネットワーク / 確率分布 / 機械学習 / 逆XOR問題 / グラフィカルシミュレータ / スケーラビリティ |
|---|
| Research Abstract |
1)余剰なニューロンに対するスケーラビリティの改善と非対称確率分布の逆XOR問題の学習
一般に与えられた問題が複雑になるほど,事前に最小のネットワーク構造や最適なニューロンの数を予測することは困難になる.従って,学習が可能な最小構造または最も効率よく学習できる最適なニューロン数に対して十分に余剰なサイズのネットワークを準備せざるを得ないが,その際,システムサイズを必要以上に大きくしても学習が阻害されない能力(スケーラビリティ)が重要となる.本研究で用いる確率的ニューロンからなるフィードフォワードモデルは優れたスケーラビリティを示すことが多いが,逆XOR問題の学習ではニューロン数が大きくなると学習が振動する現象が多く見られた。そこで,前後する学習過程におけるパラメータの変化の内積から学習係数の大きさを自動調整することにより,大きなニューロン数に対しても学習が安定して進むことが分かった.
2)確率分布を学習するのに必要なネットワークの最小構造の解明
対称な確率分布の逆XOR問題が学習可能なネットワークの理論的に予測された最小構造は入力層,中間層,出力層のニューロン数が(2-4-2)である.ところが,非対称な確率分布の逆XOR問題に対する数値計算の結果(1-1-2)構造のネットワークでも学習が可能であることが分かった.そこで,学習過程を追いながら,シナプス結合の強さと閾値の変化を表示したり,ニューロン状態のスナップショットを表示したり,ある時間幅での各ニューロンの出力の平均値をグラフィカルに表示して,各ニューロンの学習の様子と役割を解明するためのグラフィカルシミュレータを作成した.これにより,各ニューロンがどのように学習に寄与しているのかを解明することが出来るようになった.
|
