数理計画問題に基づく新たなパタン認識理論の確立と応用

1998 Fiscal Year Annual Research Report

• Project/Area Number: 09680360
• Research Institution: Japan Advanced Institute of Science and Technology
• Principal Investigator: VLACH Milan 北陸先端科学技術大学院大学, 情報科学研究科, 教授 (40291372)
• Co-Investigator(Kenkyū-buntansha): 下平 博 北陸先端科学技術大学院大学, 情報科学研究科, 助教授 (30206239)
• Keywords: 数理計画法 / 識別関数 / Support Vector Machine / SVM

Research Abstract

2年目にあたる本年度は前年度の成果をより発展させ、以下の2つの側面から研究を行った。
1. 2クラス問題として定式化されているSVMの複数クラス問題への拡張について、前年度に提案した手法を再度見直して厳密な定式化と解法を示した。また、凸二次計画問題を解くプログラムとして前年度に用いたCPLEXに代えてMINOSを採用することによって信頼性の向上をはかった。UCIデータを用いた評価実験の結果では、従来法と比較して優位な差は得られなかった。原因については調査中であるが、実験試料数が少ないこと、および、最適解がうまく得られていないことが主要な原因であると考えられる。
2. 誤分類の定式化においては、従来のSVMが学習資料に対する誤認確率を推定する代わりに誤分類データの識別境界からの距離を指標に用いている問題に着目した。Vapnikの提案するSRM理論(Structural Risk Minimization)による枠組でSVMの学習を行う場合、誤分類率を求めることが要求されるが、誤分類データが識別境界面から遠くに位置する場合に従来法は近似の精度が非常に悪くなり、学習に悪影響を与えると予想される。この問題に対して、誤分類数を数え上げて誤認識率を求めるための定式化を新たに2種類提案した。誤分類数を直接数え上げるための厳密な定式化自体は可能であるが、最適化問題としては滑らかな関数とならないため解くことが難しい。提案手法は滑らかな関数を用いた近似手法となっており、従来の距離を用いた手法と比較して近似の精度が高い。公開されている手書数字認識データベース(MNIST)およびUCIデータベースを用いた評価実験を行った結果、従来法と同等以上の識別性能が得られることが示された。

Research Products

• [Publications] 下平 博: "Support Vector Machinesによる複数カテゴリの識別" 電子情報通信学会 技術研究報告、パターン認識・メディア理解. PRMU98-36. 1-8 (1998)
• [Publications] 下平 博: "Support Vector Machineの複数クラス分類問題における定式化" 画像の認識・理解シンポジウム(MIRU'98). II. 151-156 (1998)
• [Publications] Hiroshi Shimodaira: "Support Vector Machines for Multi-Class Pattern Classification Problems" Proc.of International Conference on Operations Research 98. 68-68 (1998)
• [Publications] Hiroshi Shimodaira: "Modified Minimum Classification Error Learning and Its Application to Neural Net-works" Springer, Advances in Pattern Recognition. LNCS 1451. 785-794 (1998)
• [Publications] Jun Rokui: "Improving the Generalization Performance of the Minimum Classification Error Learning and Its Application to Neural Networks" Proc.of The Fifth International Conference on Neural Information Processing. la-C-3 (1998)