2014 Fiscal Year Research-status Report
複雑な非線形特性を内包する大規模データを対象にした勾配法に基づく学習アルゴリズム
| Project/Area Number |
26330287
|
|---|
| Research Institution | Shonan Institute of Technology |
|---|
Principal Investigator |
二宮 洋 湘南工科大学, 工学部, 教授 (60308335)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | ニューラルネットワーク / 学習アルゴリズム / 分散学習 / 準ニュートン法 / 大規模データ |
|---|
| Outline of Annual Research Achievements |
本研究課題では、複雑な非線形特性を持ち、かつ、その特性を表現するために必要な学習データ数が大規模になる非線形システムのニューラルネットワーク(以下、ＮＮ)による近似モデルを実現することを目的とする。この目的の実現のために、まず、以下の2点に関して研究する。
１．統計的手法を用いた複雑な非線形特性を内包する大規模データの分散化
２．誤差関数の凸化による学習アルゴリズムのロバスト性の向上とその分散化
これらの研究により、従来では実現不可能であった複雑さと規模のＮＮによる学習問題を解決するアルゴリズムの開発を目指す。さらに、回路シミュレータ等への応用、特に高周波回路や新たなデバイスの詳細な近似モデルのＮＮによる実現を目的とした研究へと発展させる。以上の研究計画に基づき、平成２６年度において、複雑な非線形特性を持つ大規模データの統計的手法による分割方法の確立した。さらに、分散処理された大規模データを用いた準ニュートン法に基づくバッチ学習法を提案し、その有効性を計算機実験により示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究概要に記述した通り、平成２６年度は、おおむね研究計画書に記述した通りに研究を遂行することができた。つまり、アルゴリズムの構築およびそのコーディングを行い、有効性を示すことに成功した。この結果をIEEEの主催する国際会議へ発表した。
|
| Strategy for Future Research Activity |
今後は、複雑な非線形特性を内包する大規模データの学習のために、ＮＮの誤差関数の凸化による学習のロバスト性と準ニュートン法に対する有効性の調査を行う。この結果を基に、分散処理に適した凸化誤差関数の提案を行う。さらに、その適応範囲や応用範囲についても考察する予定である。また、提案手法のさらなる有効性を示すために、より大規模な学習問題を扱うことを考えている。つまり，これまではマルチコアＣＰＵを用いた並列化であったが、複数台のコンピュータを用いた並列分散処理システムを構築し、そのシステム上で提案アルゴリズムの有効性を示すことを目的とする。
並列分散システムの構築後、実問題として、高い非線形特性をもつシステムのニューラルネットワークによるモデル化の応用として最も有効となる大規模な高周波回路モデルの実現と回路シミュレータへの応用に関する基礎研究に関しても着手する予定である。高周波回路モデルのニューラルネットワークによるモデル化は、現在、すでに回路設計の分野では実現されているが、学習が不可能となるほど非線形性が強く、大規模な回路のモデル化に関しては未だ解決策は見出されていない。本研究がこれらの問題の解決策の１つとなるように提案手法を改良していく予定である。
|
| Causes of Carryover |
平成２６年度はアルゴリズムの構築とその有効性の検証が主たる研究であった。このため、所属研究機関にて保有するコンピュータシステムを用いて研究を遂行することができた。
|
| Expenditure Plan for Carryover Budget |
今後、提案アルゴリズムの並列分散コンピュータシステム上での検証を行う必要がある。このため、平成２７年度以降にシステム構築のための物品購入に使用する予定である。
|
