2006 Fiscal Year Annual Research Report
ニューラルネットワーク型非線形システムの設計及び実装に関する研究
| Project/Area Number |
06J09473
|
|---|
| Research Institution | Kyushu University |
|---|
Principal Investigator |
郭 駿 九州大学, 大学院システム情報科学研究院, 特別研究員(DC2)
|
|---|
| Keywords | Support Vector Machine / 識別関数 / 凸2次計画問題 / 非線形回帰 / SMOアルゴリズム / 大域収束性 |
|---|
| Research Abstract |
本年度は、主に以下の二つの研究テーマを行った。
1.SVMの識別関数簡単化のための学習アルゴリズムの構築
Support vector machine(SVM)では、不必要に多数のサポートベクトル(Support Vector,以下SV)が生じることがある。SVが多ければ識別関数が複雑になり、テストサンプルの識別速度が遅くなってしまう。本研究では、識別超平面を大きく変化させることなく、できるだけ多くのSVを削除する学習アルゴリズムの構築を行った。具体的には、VapnikとChapelleが提案したスパンという概念を利用して各SVの識別超平面に対する影響度を評価し、影響度の小さいSVから順に削除するという方法である。本研究では、アルゴリズムの定式化、動作解析、実装、数値実験による有効性の検証を行った。
2.非線形回帰のためのSVMの分割型学習アルゴリズムの開発
大量の訓練サンプルを扱う場合、SVMでは大規模な凸2次計画問題を解かねばならず、これが学習時間の増大を招き、最悪の場合、求解すら困難になってしまう。本研究では、非線形回帰に対するSVMの分割型学習アルゴリズムの一種であるSequential Minimal Optimization(SMO)アルゴリズムについて、新しいアルゴリズムの提案とその収束性解析を行った。提案法の特徴は、部分最適化問題を常に厳密に解くのではなく、場合により近似解を求める点である。提案したSMOアルゴリズムに対して理論的に厳密な解析を行い、有限回の反復で任意精度の近似解に到達することを証明した。非線形回帰に対するSMOアルゴリズムはこれまでにいくつか提案されているが、大域収束性が厳密に証明されたのは本研究が初めてである。さらに、提案したSMOアルゴリズムを計算機上に実装し、大規模なデータを使い、有効性を検証した。
|
