ニューラルネットワーク回帰分析におけるパラメタの初期値の解析的導出

1999 Fiscal Year Annual Research Report

• Project/Area Number: 10680328
• Research Institution: National Center Test for University Admissions
• Principal Investigator: 前川 眞一 大学入試センター, 研究開発部, 助教授 (70190288)
• Keywords: ニューラルネットワーク回帰分析 / 初期値 / 変数選択 / パラメタ推定

Research Abstract

本研究の目的は、ネットワークモデルの繰り返し計算を用いたパラメタの推定法の加速のために、このパラメタθとWの良い初期値をいかにして簡単に求めるか、ということである。
3層モデルの場合、第1層Xから第2層への仮のパラメタθ^<2*>,W^<2*>を、第2層の仮の出力
O^<2*>=Ψ(1θ^<2*′>+XW^<2*>) (3)
が広範囲の単層増加関数群を生成するようにシステマティックに作成し、第2層から第3層への重みW^3を、変換選択により選ばれたO^<2*>のサブセットO^2への重み
Y【approximately equal】1θ^<3′>+O^2W^3 (4)
として決定するという方式を用いる。具体的には、q個の説明変数行列Xの各列およびそれらを直交化したものごとにおよそ6〜15の単調増加関数群を生成し、それらから変数選択を行う。従って、変数選択の問題は、6〜15×2×qの変数から効率よく第2層のニューロンの数n_2だけの変数を選択する問題となるが、ネットワークモデルの場合Yは多変量である場合が多いため、残差積和行列のトレースを最少とするような説明変数群を選択していくことになる。本研究においては前進ならびに後進のmaxr2法を用いた。