2011 Fiscal Year Research-status Report
学習データの与え方を改良した勾配法に基づく学習アルゴリズムとそのロバスト性の考察
| Project/Area Number |
23500189
|
|---|
| Research Institution | Shonan Institute of Technology |
|---|
Principal Investigator |
二宮 洋 湘南工科大学, 工学部, 准教授 (60308335)
|
|---|
| Project Period (FY) |
2011-04-28 – 2014-03-31
|
| Keywords | ニューラルネットワーク / 学習アルゴリズム / 準ニュートン法 / オンライン学習法 / バッチ学習法 / 並列アルゴリズム |
|---|
| Research Abstract |
本研究課題は、以下の2つの研究を進めることにより、非線形性の強い特性を持つ関数(システム)のニューラルネットワークによる近似を可能にすることが目的である。・学習データの与え方を改良した勾配法に基づく新たな学習アルゴリズムの提案、及び、提案学習アルゴリズムのロバスト性に関する解析ここで、本研究課題におけるロバスト性とは、初期値に依存することなく最適解を得られる、つまり、大域収束性のことを示す。これに対して、23年度は以下の研究計画に基づいて研究を行った。『オンライン学習法とバッチ学習法の収束特性を考察する』『それぞれの学習法の特性を考慮に入れた学習サンプルデータの与え方に関して考察する』『上記の考察に基づき、ニューラルネットワークの学習のための新たな誤差関数を導出し、これを用いて、勾配法に基づくロバストな学習アルゴリズムを構築する』『提案アルゴリズムの有効性を計算機実験により示す』『提案アルゴリズムとシミュレーティッド・アニーリングとのアナロジーを考察する』以上の研究計画に基づき、平成２３年度においてオンライン学習法とバッチ学習法の誤差関数を、パラメータを用いて組み合わせた新たな誤差関数を導出し、その誤差関数に対して準ニュートン法を適用する新たな学習アルゴリズムを提案した。また、提案アルゴリズムの有効性を計算機実験により明らかにした。さらに、より大規模で複雑な問題を考慮に入れれば、アルゴリズムの並列化は不可欠であり、マルチコアＣＰＵを用いたアルゴリズムの並列化に関しても実験を行った。つまり、平成２３年度において、提案アルゴリズムの提案、及び、コーディングとそれに基づく並列化アルゴリズムのコーディングを行ない、その有効性を検証した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究概要に記述した通り、平成23年度は、研究計画書に記述した通りに研究祖推敲することができた。つまり、アルゴリズムの構築およびそのコーディングを行い、有効性を示すことに成功した。
|
| Strategy for Future Research Activity |
今後は、まず、提案アルゴリズムのロバスト性に関する解析を行う予定である。さらに、提案アルゴリズムのさらなる有効性を示すために、より大規模な学習問題を扱うために、複数のマルチコアCPUを用いたアルゴリズムの並列化に関する研究に着手する。また、高周波回路モデルの実現と回路シミュレータへの応用に関する基礎研究に関しても着手する予定である。
|
| Expenditure Plans for the Next FY Research Funding |
平成24年度は、複数台のマルチコアCPUもしくは並列化システムを用意する必要がある。さらには、平成23年度の研究成果を広めるため、積極的に対外発表及び討論会に出席する予定である。また、23年度はアルゴリズムの構築及び小規模な問題を対象にしていた。しかしながら、アルゴリズムの有効性を示すためには、より大規模な学習問題に対する計算機実験を行う必要がある。この為、平成23年度予算の残りを次年度使用予算として用い、これを実験補助をお願いする人員に対する謝金として平成24年度の予算の中に組み込む予定である。
|
