2016 Fiscal Year Annual Research Report
A Training Algorithm based on Gradient Method for Big Data Including High-nonlinearity
| Project/Area Number |
26330287
|
|---|
| Research Institution | Shonan Institute of Technology |
|---|
Principal Investigator |
二宮 洋 湘南工科大学, 工学部, 教授 (60308335)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | ニューラルネットワーク / 勾配学習アルゴリズム / 準ニュートン法 / 大規模データ / 凸化誤差関数 |
|---|
| Outline of Annual Research Achievements |
本研究課題では、複雑な非線形特性を持ち、かつ、その特性を表現するために必要な学習データ数が大規模になる非線形システムのニューラルネットワーク(以下、ＮＮ)による近似モデるを実現することを目的とした。この目的の実現のために、以下の２点に関して研究を遂行した。
１．統計的手法を用いた複雑な非線形特性を内包する大規模データの分散化
２．誤差関数の凸化による学習アルゴリズムのロバスト性の向上とその分散化
まず、１．に関しては、近年、勾配学習において着目されている、ミニバッチ手法においてそのサンプル数の決定を学習が安定するように統計的に決定する手法である。この手法の提案により、準ニュートン法においても、ミニバッチ手法が安定して収束できることを確認した。２．に関しては、ＮＮの誤差関数を疑似的に凸化することで、局所解の問題を回避する手法に着目した。この関数はリスク回避誤差関数と呼ばれており、最適制御分野で盛んに研究されている手法である。また、微分可能な関数であるため勾配法を用いて最適化することができる。この凸化誤差関数を分散処理に適した凸化誤差関数へ変形することでバッチ処理が可能となるアルゴリズムを提案した。また、提案誤差関数とオリジナルの凸化誤差関数の上界に対する検討も行った。
これらの研究により、従来では実現不可能であった複雑さと規模のＮＮによる学習問題を解決するアルゴリズムの開発が可能となった。また、回路シミュレータ等への応用、特に高周波回路に関する有効性を確認し、詳細な近似モデルのＮＮによる実現の可能性に関する基礎研究を行った。
|
