2016 Fiscal Year Annual Research Report
Development of the large-scale Full Connected Artificial Neural Network
| Project/Area Number |
26330292
|
|---|
| Research Institution | Sendai National College of Technology |
|---|
Principal Investigator |
早川 吉弘 仙台高等専門学校, 情報システム工学科, 教授 (20250847)
|
|---|
| Project Period (FY) |
2014-04-01 – 2017-03-31
|
| Keywords | 全結合型 / 人工神経回路網 / IDL / DS-NET / GPGPU / 大規模 / 高速計算 |
|---|
| Outline of Annual Research Achievements |
多層の大規模な階層型神経回路網の地道な研究が、Deep-Learningの成功へと繋がり、応用上のブレークスルーを導いた。本申請研究は、全結合型人工神経回路網においても応用上のブレークスルーを目指し、研究遂行上ターゲットは限定するが全結合型人工神経回路網の巨大システム化に必要な技術開発を目的とする。その方法は、アクティブ人工神経回路の組み合わせ最適化問題解法への応用上のアプローチによって検討・検証することにある。
これまで、申請研究のベースとなっている逆関数遅延モデルの高速計算バージョンである逆関数遅延レスモデルを大規模システムへ適用するためのパラメータ依存性の調査、相反する制約条件を1つのネットワーク上に入れ込むのではなく、機能毎に分割するダイナミック-スタティック(DS)ネットワークの調査、更にはこのDSネットワークで大規模化する際に重要な構成要素となる巨大な全結合型ネットワークに対してのモジュラーニュラルネットワーク利用、及びそのGPGPUによる実装実験への試みと研究を進めてきた。最終年度である今期は、モジュラーニュラルネットワークの最適設計が可能となるように、そのダイナミクスの詳細調査を中心に研究を進めた。この結果、状態空間における正解からの距離に応じて、その振幅が正の相関を持つ擬似的なノイズ効果の存在を確認することが出来た。このことは、自動的に状態が正解状態へ集まる動きが強調されることを示しており、重要な発見となったと考えている。
|
