2011 Fiscal Year Annual Research Report
| Project/Area Number |
22500212
|
|---|
| Research Institution | Chubu University |
|---|
Principal Investigator |
中野 良平 中部大学, 工学部, 教授 (90324467)
|
|---|
| Keywords | 機械学習 / 特異モデル / 探索法 / 多層パーセプトロン / 特異領域 |
|---|
| Research Abstract |
1.多層パーセプトロン(MLP)の探索では、隠れユニット数が一つ少ないモデルの最適解に可約性写像を施したパラメータ領域が特異領域を形成し、学習の停滞を招くため、それを回避する探索法が模索されてきた。本研究では、特異領域を探索の中で積極的に利用しつつ、隠れユニット数を1から所定の数まで徐々に増やしてゆき、各隠れユニット数に相応しい良解を次々と求める特異階段追跡法(SSF法: Singularity Stairs Following)を考案し、シグモイド型、多項式型のMLPにおいて、人工データや実データを用いて評価し、安定して一連の良解が求まることを示した(NCTA2011論文)。発表後、主催者からジャーナル論文へ投稿するよう推薦されたので、準備を進めている。
2.多層パーセプトロン(MLP)の探索空間は、ヘッセ行列を使って調べてみると、条件数が巨大なクレバス形状に満ちていることがわかった。そのようなクレバスに入ると、通常の探索法は通過できずトラップされてしまうため、ヘッセ行列の固有ベクトルを探索方向として利用する固有ベクトル降下法(EVD法: Eigen Vector Descent)を考案し、シグモイド型、多項式型のMLPにおいて、人工データや実データを用いて実験したところ、クレバスに入ってもトラップされず、そこを脱出して、最適解に到達できることがわかった(NC研究会論文、ICAIA2012論文)。
3.入出力や重みが複素数となる複素多層パーセプトロン(複素MLP)は、実MLPに無い周期性や非有界性といった魅力的な表現能力を持つ。複素MLPの探索空間も実MLPと同様に、条件数が巨大なクレバス形状に満ちており、通常の探索では良解が得られない。そこで、Wirtinger微分を用いて複素MLPのヘッセ行列を求め、可約性写像と逐次型の固有ベクトル降下を用いた新探索法を考案し、従来法では得られない良解が得られることを計算機実験によって確認した(CI研究会論文、NC研究会論文)。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の計画通り、多層パーセプトロンの探索では、特異領域を積極的に利用した新探索法として、SSF法、固有ベクトル降下法を考案し、従来法に無い探索能力を実験によって確認している。また、当初計画にはない進展として、実多層パーセプトロンに無い能力を持つ複素多層パーセプトロンの探索法も本研究の基本アイデアで技術革新できることがわかり、その研究を展開している。
|
| Strategy for Future Research Activity |
実多層パーセプトロンにおいて特異領域を積極的に利用する新探索法を研究する中で、複素多層パーセプトロンの新探索法へも同様のアイデアが適用できることがわかり、新探索法の考案に向けて、研究を拡大展開している。さらに、今後は、特異モデルのモデル選択法についても、実証的に研究を進める予定である。
|
Research Products
(5 results)
-
-
-
-
-
[Presentation] 複素多層パーセプトロンの探索空間と探索法2011
Author(s)
鈴村真也、中野良平
Organizer
第1回コンピューテーショナル・インテリジェンス研究会「クリフォードニューロコンピューティングを中心として」計測自動制御学会(システム・情報部門),pp.85-91,2011.9.30,京都工芸繊維大学
Place of Presentation
京都工芸繊維大学
Year and Date
2011-09-30
