2014 Fiscal Year Annual Research Report
パラメータ空間の学習停滞領域を利用した学習アルゴリズムの研究
| Project/Area Number |
14J07159
|
|---|
| Research Institution | Chubu University |
|---|
Principal Investigator |
佐藤 聖也 中部大学, 工学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2014-04-25 – 2016-03-31
|
| Keywords | ニューラルネットワーク / 複素ニューラルネットワーク / 多層パーセプトロン / 複素多層パーセプトロン / 探索法 / 特異領域 / 可約性写像 |
|---|
| Outline of Annual Research Achievements |
採用以前の研究では、実数の多層パーセプトロン（MLP）において、学習が停滞するパラメータ領域（特異領域）を利用して隠れユニットを一つずつ増やして探索する特異階段追跡法(SSF)を提案した。採用第１年度目は、SSFの高速化と機能拡張（与えられた隠れユニット数の前後だけを探索）を実現し、これらの有効性を計算機実験にて評価することを計画した。
SSFの高速化の方法として、特異領域上の初期点の二階微分である曲率行列（Hesse行列）の固有値を基に探索の優先順位を決定し、探索の上限を設定する方法を考案した。この方法を用いることにより、解品質を劣化させることなく大幅に処理時間を削減することができた。
SSFの与えられた隠れユニット数の前後だけを探索する機能拡張を行う方法としては、隠れユニットを増やす処理だけでなく、隠れユニットを減らす処理も必要となる。隠れユニットを減らす方法として、隠れユニットを増やすときと同様、特異領域を利用する方法を提案した。この方法では任意の隠れユニット数の範囲内で隠れユニットを増やす処理と減らす処理を繰り返すことで良質の解を得ることができた。
また、上記の研究に加えて、採用第２年度目に行う計画をしていた、複素MLPの学習にSSFの原理を応用する研究も行った。複素MLPにおいても、特異領域を利用した探索法（C-SSF）は従来法よりも優れた解品質の解を得た。また、上記の探索の上限を設定する高速化手法ではなく、以前の研究で提案した探索枝刈りによる高速化手法も、実MLPと同様、C-SSFの解品質を劣化させることなく高速化できた。また、C-SSFでは最も良質の解に可約性写像を適用して形成した特異領域から探索するが、最良解のみでなく、ベスト２や３の解も利用する方法を提案し、計算機実験により複数の解を利用する有効性を示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
採用第１年度目はSSFの高速化と機能拡張を実現し、これらの有効性を計算機実験にて評価することを計画した。計画通り、採用第１年度中にSSFの高速化と機能拡張を実現し、有効性を示すことができた。また、採用第２年目に行う計画をしていた、複素MLPの学習にSSFの原理を応用する研究も行い、学習が停滞する特異領域を学習の初期点として利用する有効性を示すことができた。ただし、前述のSSFの高速化と機能拡張を複素MLPの学習に応用する研究はまだ行っていない。
また、SSFは特異領域上のHesse行列の固有値と固有ベクトルを利用するが、これらの固有値と固有ベクトルが精度良く求まらないことがあることがわかった。そのため、Hesse行列の固有値と固有ベクトルの精度を上げることができれば、より精度良く特異領域上から降下するルートを見つけることができ、より良質の解を得ることができるようになる可能性がある。そのため、Hesse行列の固有値と固有ベクトルの精度を上げる方法を提案し、SSFの技術をより確立する研究を行う必要がある。
|
| Strategy for Future Research Activity |
採用第２年度目は、実MLPにおいてSSFの技術をより確立する研究と、そのSSFの技術を複素MLPに応用する研究を行う。
実MLPにおいてSSFの技術をより確率する研究に関しては、”現在までの達成度”の中で述べたように、特異領域上のHesse行列の固有値と固有ベクトルの精度を上げることにより、より良質の解を得られるようになる可能性があることがわかった。そのため採用第２年度目においては、まずHesse行列の固有値と固有ベクトルの精度を上げる方法を考案し、SSFの技術をより確立したものとする研究を行う。
また、SSFの技術を複素MLPに応用する研究も行う。採用第１年度では、複素MLPの学習においても特異領域を利用した学習法の有効性を確かめることができたが、採用第１年度に行ったSSFの高速化と機能拡張を複素MLPの学習に応用する研究はまだ行っていないため、これらの技術を応用する研究を行う。また、上記のHesse行列の固有値と固有ベクトルの精度を上げる方法が実MLPの探索において有効であれば、複素MLPにおいても有効に働く可能性があるため、この方法を複素MLPに応用する研究も行う。
|
Research Products
(5 results)
