統計的学習理論に基づく非線形識別・判別に関する研究

2004 Fiscal Year Annual Research Report

• Project/Area Number: 16700261
• Research Institution: Josai University
• Principal Investigator: 土屋 高宏 城西大学, 理学部, 講師 (60316677)
• Keywords: 非線形判別 / ニューラルネットワーク / 情報量規準

Research Abstract

1.ニューラルネットワークモデルに基づく非線形識別・判別問題で重要な課題として、学習データ以外の未知データに対してモデルがどの程度有効に機能するかといういわゆる汎化能力の評価が挙げられる。一つの方法として情報量規準AICが知られている。ネットワークの中間層のユニット数決定の問題にAICを適用するためには、通常教師信号とネットワークの出力との誤差が互いに独立で正規分布に従うことが前提とされるが、まずはこのことを検証するためにシミュレーション実験を行った。通常、教師信号には二値の0,1あるいは0.1,0.9などが設定されるが、数値計算上の難点から誤差の分布が正規分布とはかけ離れたものになる場合が生じる。教師信号の設定にはある程度の調整が必要であり、いくつかの実験を通して、例えば0.85,0.15程度に設定するとよいことが分かった。このことは、AICの適用に関して一つの指針を与えるものと考えている。なお中間層のユニット数が0の場合はロジスティック判別に帰着され、二項確率変数を用いた尤度関数を用いることにより、AICの適用が可能となる。
2.階層型ニューラルネットワークの学習手法の一つである誤差逆伝播学習法に関する評価関数の最適解収束の問題は、パラメータの初期設定や重みの初期値については経験的にあるいは試行錯誤的に行う必要がある。また、教師信号や変換に利用する関数によって中間層のユニット数が同じであっても誤判別率の値が異なり、評価関数については通常使用されるロジスティック関数よりも、0と1への収束が遅い関数、例えば(0,1)が値域となるように変換した逆正接関数を使用することで、安定したネットワークが構成できることが分かった。
3.サポートベクターマシンに関する基本的な考え方とその理論、モデルの構造について研究し、非線形識別・判別問題に有効な方法であることを認識した。