2013 Fiscal Year Annual Research Report
学習データの与え方を改良した勾配法に基づく学習アルゴリズムとそのロバスト性の考察
| Project/Area Number |
23500189
|
|---|
| Research Institution | Shonan Institute of Technology |
|---|
Principal Investigator |
二宮 洋 湘南工科大学, 工学部, 教授 (60308335)
|
|---|
| Keywords | ニューラルネットワーク / 学習アルゴリズム / 準ニュートン法 / オンライン学習 / バッチ学習 / 並列アルゴリズム |
|---|
| Research Abstract |
本研究課題では、以下の研究を進めることにより、非線形の強い特性を持つ関数(システム)のニューラルネットワークによる近似を可能にすることが目的である。
・オンライン学習法とバッチ学習法の収束特性を考察し、それぞれの学習法の特性を考慮に入れた学習データの与え方に関する研究
・上記の結果に基づく学習データの与え方を改良した勾配法に基づく新たな学習アルゴリズムの提案
・提案アルゴリズムの収束性とロバスト性に関する解析
・大規模データを考慮した学習アルゴリズムの並列化に関する研究
以上の研究計画に基づき、平成23年度ではオンライン学習法とバッチ学習法の特性から新たな誤差関数を導出し、その誤差関数に対して準ニュートン法を適用した新たな学習アルゴリズムを提案した。また、提案アルゴリズムの有効性を計算機実験により明らかにした。これに基づき、平成24年度では、提案アルゴリズムのロバスト性を示すために、提案手法とグローバル最適化手法として知られているシミュレーティッドアニーリング最適化法とのアナロジーに関して考察した。ここでのロバスト性とは、初期値に依存することなく最適解を得られることを示す。このアナロジーにより、提案手法が初期値に対してロバスト性を持つことを示すことができた。さらに、平成25年度においては、より大規模な問題に対応するために、アルゴリズムの並列化を目指した研究を進めた。具体的にはマルチコアＣＰＵを用いた並列化により、アルゴリズムの計算速度を飛躍的に向上させることに成功した。さらには、クラスタ構成及びＧＰＧＰＵを用いた学習アルゴリズムの並列化に関する基礎研究に着した。また、提案手法の拡張性を示すために、通信システムへの応用やＣＡＤシステム応用に関する基礎研究にも着手した。
|
