1993 Fiscal Year Annual Research Report
| Project/Area Number |
04650301
|
|---|
| Research Institution | IBARAKI UNIVERSITY |
|---|
Principal Investigator |
松山 泰男 茨城大学, 工学部, 教授 (60125804)
|
|---|
| Keywords | 異質な並列性 / コネクショニズム / 教師あり学習 / 教師なし学習 / ダイバージェンス / 対数バイアス / 調和競合学習 / 突然変異 |
|---|
| Research Abstract |
本研究は,異質な並列性が他を害することなく共存して一つの問題を解ける計算環境と,その上で走らせることができる計算学習アルゴリズムの開発を行うことを目的としている.これらの内,異質な並列性の計算環境についてはエミュレータとしての作成を終えている.従って今年度の課題は,異質な並列性の存在が顕著であるコネクショニズム的計算学習アルゴリズムについて,新たなものを開発し,並列計算との親和性を調べることとなっている.
コネクショニズム的学習アルゴリズムにおける二大分類は,教師あり学習と教師なし学習である.教師あり学習として最も利用度の高いアルゴリズムは,誤差逆伝播法である.ところが,この学習法においては,学習が収束しなかったり,あるいは収束しても極めて性能の悪い局所最適解に陥ることが多い.これに対して研究代表者は,外部出力,内部出力および重み分布に対してダイバージェンスやエントロピを付加項として加えることにより,収束性や汎化性能を著しく改善するアルゴリズムを導出した.このアルゴリズムは,ファイングレインドな並列性を,さらにその上部の並列性が制御するという異質な並列性の存在の恩恵を受けられる形になっている.従来,他の研究者たちはエントロピについてのみ注意を向けていたが,この研究により,ダイバージェンスは同程度以上に有効なペナルティ量であることが明らかになった.
教師なし学習については,競合学習を取り上げた.この問題においては,一般的な多目的最適化を競合学習によって解くことを試みた.この場合のアルゴリズムは調和競合学習とよばれ,これもコネクショニズム的学習アルゴリズムである.この問題において,研究代表者は,調和競合学習そのものの提案,劣悪な局所最適からの脱出を図る対数バイアスの導出,そしてその対数バイアスに基づいた重みベクトルの突然変異アルゴリズムの導出を行った.これらの新たな提案は,競合学習(情報圧縮型)における劣悪な局所最適性の問題を実質的に解決したことになっている.
このように,平成5年度は当初計画を上回る成果を得た.
|
-
[Publications] Y.Matsuyama & M.Kobayashi: "Fitting Competition" Proc.World Congress on Neural Networks. II. 567-574 (1993)
-
[Publications] Y.Matsuyama: "Competitive Learning among Massively Parallel Agents" Neural,Parallel & Scientific Computations. 1. 181-198 (1993)
-
[Publications] Y.Matsuyama & M.Tan: "Multiply Descent Cost Competitive Learning as an Aid for Multimedia Image Processing" Proc.Int.Joint Conference on Neural Networks. 3. 2061-2064 (1993)
-
[Publications] Y.Matsuyama & M.Tan: "Digital Movies Using Optimized Feature Maps" Proc.Int.Conference on Neural Networks. x. x-y (1994)
