統計的学習理論に基づく非線形識別・判別に関する研究

• Project/Area Number: 16700261
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Single-year Grants
• Research Field: Statistical science
• Research Institution: Josai University
• Principal Investigator: 土屋 高宏 城西大学, 理学部, 講師 (60316677)
• Project Period (FY): 2004 – 2005
• Project Status: Completed (Fiscal Year 2005)
• Budget Amount: ¥900,000 (Direct Cost: ¥900,000); Fiscal Year 2005: ¥300,000 (Direct Cost: ¥300,000); Fiscal Year 2004: ¥600,000 (Direct Cost: ¥600,000)
• Keywords: 非線形判別 / ニューラルネットワーク / 情報量規準 / サポートベクターマシン

Research Abstract

1.階層型ニューラルネットワークの学習手法である誤差逆伝播法では、学習データの2乗誤差を評価関数として重み係数を反復修正する。このとき生じる局所的最小解への収束の難点をどのように克服するかが問題であった。現段階では重みの初期値や収束の速度を決定するパラメータ、重みを順次修正していくための係数を問題に応じて経験的あるいは試行錯誤的に試みる方法を適用している。効率的な数値計算の手法開発は今後の課題である。
2.ニューラルネットワークに含まれる変換の関数として通常使用されるロジスティック関数(シグモイド関数)にとらわれない様々な関数の適用について研究した。例えば、(0,1)が値域となるように変換した逆正接関数、プロビットモデル、ロジスティック関数に含まれる指数関数を一般化した関数等を使用し、実データおよび乱数により誤差や誤判別率の比較検討を行った。この結果、プロビットモデルとロジスティック関数の一般指数型は通常のロジスティック関数とほぼ同様の誤判別率が得られるが、プロビットモデルはかなりの反復計算の時間を要することが分かった。これに対して、逆正接関数は処理時間が比較的短く誤差・誤判別率が小さい安定したネットワークが構成された。将来の予測に有効に機能するモデルの良さを評価するためのモデル評価基準としては一般化情報量規準が有用であり、ガウスカーネルに基づく動径基底関数ネットワークが種々の問題に適用可能なことを認識した。
3.サポートベクターマシン(SVM)の学習理論においては評価関数の最適解が唯一つ決まるというメリットがあり、非線形識別・判別問題に有効な手法として知られている。ソフトマージン最適化と高次元特徴空間でのカーネルトリックを組み合わせた凸2次計画問題として定式化されるが、構成されたSVMの汎化能力を評価するためのモデル評価基準の開発をめざし、理論的・数値的に検証を進めている。