2009 Fiscal Year Annual Research Report
| Project/Area Number |
21500215
|
|---|
| Research Institution | Mie University |
|---|
Principal Investigator |
萩原 克幸 Mie University, 教育学部, 准教授 (60273348)
|
|---|
| Keywords | 多層パーセプトロン / 可変基底 / 学習誤差 / 汎化誤差 / Hard-thresholding法 / ノンパラメトリック回帰 |
|---|
| Research Abstract |
本研究は、多層パーセプトロンのもつ性質である可変基底により特徴付けられる学習機械の学習誤差および汎化誤差を解析することを目的としており、本年度は、直交性を満たす有限個の関数の集合から基底関数を選ぶ場合の学習誤差および汎化誤差の解析に基づき、一般の有限個の関数の集合から基底関数を選ぶ場合に汎化性を向上させる方法についての理論解析を行った。この方法は、直交化された基底関数の係数を推定し、その係数に対して適当な閾値を用いてHard-thresholding処理を行い、元の基底関数の係数の推定を行う方法である。これにより、雑音のみに関与する成分が除去され、滑らかな出力が得られる。この方法は、ノンパラメトリック回帰の方法として捉えることができる。このHard-thresholding法の汎化誤差の解析は、独立ではあるが同分布ではない場合の確率変数列の確率的挙動を調べる問題に帰着される。本研究では、確率変数列の性質を反映させた適当な閾値を用いる場合について、その確率的上界を求めた。また、その結果に基づき、真の関数を表現する基底関数の個数が少ない(スパースな表現が存在する)場合については、Nをサンプル数として、汎化誤差の悪化が0(logN/N)であることが示された。従来の機械学習の方法では、汎化性に関わるモデル選択の問題について、理論的なサポートが得られているケースは非常に少ない。本研究は、上記の具体的なHard-thresholding法に対して、モデル選択の問題について理論解析を行ったものとして重要である。実際、この方法を実問題に適用した結果、機械学習の分野で提案されている他のノンパラメトリック回帰の方法と同程度の性能が得られることを確認した。
|
