1993 Fiscal Year Annual Research Report
| Project/Area Number |
05267209
|
|---|
| Research Institution | Ibaraki University |
|---|
Principal Investigator |
松山 泰男 茨城大学, 工学部, 教授 (60125804)
|
|---|
| Keywords | スパース表現 / ペナルティ / エントロピ / ダイバージェンス / 学習 / 大域最適解 |
|---|
| Research Abstract |
本研究は,コネクショニズム的情報表現について,どのような学習ペナルティを課せば望ましい性能を得られるのかについて調べることを課題としている.まず競合学習についてであるが,Mをニューロンの数,Nをデータの数とすると,次のような二つの場合がある.
[M<N型]まず,研究代表者は,ダイバージェンスを付加項に加えることにより,log-conscienceという競合ペナルティを導出した.この量をバイアスとする学習を行うと,劣悪な局所最適解に捕まることが少なくなる.さらに,この対数バイアスを用いて重みベクトルの突然変異を行うと,学習結果はほぼ問違いなく大域最適解の周辺に収束することを確認できた.[M<N型]これは正則化の問題となっている.具体例としては,従来の組合わせ最適化法では近似解すら求まっていなかったextended vehicle routing問題を取り上げ,良好な近似解を得ることができた.
誤差逆伝播学習における付加項の問題については,ダイバージェンス層とエントロピ属について調べた.凸型の出力ペナルティは,連続値を扱う場合のスパースコーディングに相当している.排他適論理和のように0-1パターンを入力とする場合には,凹型であるダイバージェンスを用いると,誤差が一桁以上も小さくなることを確認できた.また,結合重みに対してダイバージェンスをペナルティとして課しても,結合の間引き効果が現れることを発見した.
以上のように,今年度の研究課題として設定した学習時のペナルティ項は,パターンのコーディン方法に深く影響し,性能を向上させるものであることが分かった.
|
Research Products
(4 results)
-
[Publications] Y.Matsuyama & M.Kobayashi: "Fitting Competition" Proc.World Congress on Neural Networks. II. 567-574 (1993)
-
[Publications] Y.Matsuyama: "Competitive Learning among Massively Parallel Agents" Neural,Parallel & Scientific Computations. 1. 181-198 (1993)
-
[Publications] Y.Matsuyama & M.Tan: "Multiply Descent Cost Competitive Learning as an Aid for Maltimedia Image Processing" Proc.Int.Joint Conference on Neural Networks. 3. 2061-2064 (1993)
-
[Publications] Y.Matsuyama & M.Tan: "Digital Movies Using Optimized Feature Maps" Proc.Int.Conference on Neural Networks. x. x-y (1994)
