| 研究概要 |
本年度は、主に以下の二つの研究テーマを行った。
1.SVMの識別関数簡単化のための学習アルゴリズムの構築
Support vector machine(SVM)では、不必要に多数のサポートベクトル(Support Vector,以下SV)が生じることがある。SVが多ければ識別関数が複雑になり、テストサンプルの識別速度が遅くなってしまう。本研究では、識別超平面を大きく変化させることなく、できるだけ多くのSVを削除する学習アルゴリズムの構築を行った。具体的には、VapnikとChapelleが提案したスパンという概念を利用して各SVの識別超平面に対する影響度を評価し、影響度の小さいSVから順に削除するという方法である。本研究では、アルゴリズムの定式化、動作解析、実装、数値実験による有効性の検証を行った。
2.非線形回帰のためのSVMの分割型学習アルゴリズムの開発
大量の訓練サンプルを扱う場合、SVMでは大規模な凸2次計画問題を解かねばならず、これが学習時間の増大を招き、最悪の場合、求解すら困難になってしまう。本研究では、非線形回帰に対するSVMの分割型学習アルゴリズムの一種であるSequential Minimal Optimization(SMO)アルゴリズムについて、新しいアルゴリズムの提案とその収束性解析を行った。提案法の特徴は、部分最適化問題を常に厳密に解くのではなく、場合により近似解を求める点である。提案したSMOアルゴリズムに対して理論的に厳密な解析を行い、有限回の反復で任意精度の近似解に到達することを証明した。非線形回帰に対するSMOアルゴリズムはこれまでにいくつか提案されているが、大域収束性が厳密に証明されたのは本研究が初めてである。さらに、提案したSMOアルゴリズムを計算機上に実装し、大規模なデータを使い、有効性を検証した。
|
