研究課題
１．多層パーセプトロンの探索では、隠れユニット数が一つ少ないモデルの最適解に可約性写像を適用したパラメータ領域が特異領域を形成し、学習の停滞を招くため、それを回避する探索法が模索されてきた。本研究では、特異領域を逆に積極的に利用する探索法を模索し、隠れユニット数を１から所定数まで徐々に増やしてゆき、各隠れユニット数に相応しい良質の解を次々と求める特異階段追跡法（SSF法）を考案し、一連の良解が安定して求まることを確認した。本年度は当初のSSF法の求解能力を向上させ、かつ探索数を削減する高速化を施した改良版を提案し、計算機実験にてその有効性を確認した。２．入出力や重みが複素数となる複素多層パーセプトロン（複素MLP）は、実MLPにはない周期性や非有界性という魅力的な表現能力を持つ。しかし、複素MLPの探索空間は実MLPと同様に、条件数が巨大なクレバス形状に満ちており、通常の探索法では良解が得られない。そこで、実用的な複素微分法であるWirtinger微分を用いて複素MLPの勾配とヘッセ行列を定義してBFGS法を導入し、さらに、隠れユニット数増加に際して可約性写像を導入した探索法を考案し、計算機実験により非常に良質の解が高速に求まることを確認した。３．上記で開発したSSF法を多層パーセプトロンのモデル選択に適用する研究を進めた。多層パーセプトロンのモデル選択にはこれまで多数の選択基準が提案された。AICやBICのように最尤推定値だけを用いるものやWAICやDICのようにサンプリング法を用いるものがあるが、いずれでも、隠れユニット数の増加に対する解品質の単調性が保証されないと判定結果が信頼できない。従来の独立ラン法ではそれが保証されないが、SSF法には保証される利点があるので、SSF法を用いて各種基準を比較評価して、さまざまな知見を得た。
24年度が最終年度であるため、記入しない。
すべて 2013 2012 その他
すべて 雑誌論文 (3件) (うち査読あり 3件) 学会発表 (5件) 図書 (1件) 備考 (1件)
電子情報通信学会論文誌
巻: Vol.J96-D.No.3 ページ: 423--431
IAENG International Journal of Computer Science
巻: Vol. 40 、No. 1 ページ: 47--52
Neural Processing Letters
巻: - ページ: 1-17
doi : 10.1007/s11063-013-9283-z
http://www.nipl.cs.chubu.ac.jp/~nakano/learning-j.html
