数理計画問題に基づく新たなパタン認識理論の確立と応用

1997 Fiscal Year Annual Research Report

• Project/Area Number: 09680360
• Research Category: Grant-in-Aid for Scientific Research (C)
• Research Institution: Japan Advanced Institute of Science and Technology
• Principal Investigator: MILAN VLACH 北陸先端科学技術大学院大学, 情報科学研究科, 教授 (40291372)
• Co-Investigator(Kenkyū-buntansha): 下平 博 北陸先端科学技術大学院大学, 情報科学研究科, 助教授 (30206239)
• Keywords: 数理計画法 / 線形識別関数 / Support Vector Machine

Research Abstract

初年度にあたる今年度は、数理計画法に基づくパタン分類問題の新たな定式化に充填を置いて研究を進めた。まず、Mangasarian、Bennettらによって提案された2次計画法であるGOPに着目した。GOPでは、頑健な識別器を構築するために、「分離超平面によるクラス間のマージン(距離)の最大化」、および「誤分類される点と離超平面との距離の総和の最小化」の2つの側面から問題を定式化している。実際、予備実験によると、正規分布を仮定したBayes識別器よりも優れた識別性能が得られることが確かめられた。そこで、2群の識別問題として定式化されているGOPを多群の識別問題に拡張することを検討した。その結果、最適性を失うことなく多群の識別問題として定式化が可能であることを新たに示した。(これを新たにGOP-MCと呼ぶ)
GOP-MCの識別性能をさらに向上するには、線形な識別境界を非線形に拡張することである。そこで、Vapnikによって提案されたSupport Vector Machine(SVM)における、次元拡張法に着目した。SVMは、入力ベクトルを非線形に写像した高次特徴空間において、GOP同様の線形な識別境界を構築する手法であり、結果的に非線形な識別境界が構成される。GOP同様、SVMも2次の識別問題として定式化されている。多群の識別問題を扱う場合は、識別対象のカテゴリと、それ以外のカテゴリを識別するように問題を定式化するのが従来の手法であった。しかし、この場合は複数のSVM間を通じての最適性は保証されない。これに対して、GOP-MCで用いた複数クラス化の手法を用いると、SVMも最適性を失うことなく複数クラス化が可能となることを新たに示した。
UCIが公開する機械学習用のデータベースを用いた認識実験によると提案手法(GOP-MC,SVM-MC)が従来法(GOP,SVM)と比較して、学習外資料に対して優れた識別性能を示すことが分った。

Research Products

• [Publications] 佐藤弘一: "複数クラス分類問題における数理計画法による識別関数の設計" 平成9年度電気関係学会北陸支部連合大会 講演論文集. 345 (1997)
• [Publications] 六井淳: "最小分類誤り識別学習法の高精度化" 平成9年度電気関係学会北陸支部連合会大会 講演論文集. (1997)
• [Publications] 佐藤弘一: "Supporr Vector Machineにおける複数クラス識別問題の定式化" 統計数理研究所 研究集会「最適化:モデリングとアルゴリズム」. (1998)