2012 Fiscal Year Research-status Report
多クラス識別に対する幾何的マージン最大化ソフトマージンサポートベクトルマシン
| Project/Area Number |
24500275
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Research Institution | Osaka University |
|---|
Principal Investigator |
巽 啓司 大阪大学, 工学(系)研究科(研究院), 准教授 (30304017)
|
|---|
| Project Period (FY) |
2012-04-01 – 2016-03-31
|
| Keywords | サポートベクトルマシン / 多クラス識別問題 / 多目的最適化問題 / 2次錐計画問題 / 一対多手法 / 一括型手法 / 汎化性能 |
|---|
| Research Abstract |
１）すでに提案済みの「幾何マージンを最大化するハードマージン型多目的サポートベクトルマシン」(MMSVM)を，例外データを扱うためのソフトマージン型への拡張を行った．例外データの侵入量の和をペナルティ関数として目的関数に追加し，(i) 幾何マージンの逆数と正規化侵入量の和の最小化 (ii) 幾何マージンと幾何的侵入量の差の最大化 (iii) 関数マージンの逆数とペナルティ項の和の最小化 を用いる3種類を検討した。(i)と(iii)は，識別機を構成するための学習モデルが凸計画問題になる一方，(ii)は非凸計画となることを示した．(ii)と(iii)については，パラメータ値選択の容易な2クラス識別νSVMに似た性質をもつことを示した．また，カーネル法が適用可能な非線形モデルも導出し，線形モデルと同様に学習可能であることを示した．求解の容易な(i),(iii)について，ベンチマーク問題に適用して汎化性能を比較し，幾何マージンを正確に最大化する(i)が有効であることを確認した．(i)について，パレート解集合全体の識別率を検証し，すべてのクラス間で平均して幾何マージンが大きい解の識別率の高さを確認した．
２）一対多手法に基づくMMSVM (MMSVM-OA) のソフトマージンモデルに関して，例外データの侵入量を表す変数の数を，求まる識別器の汎化性に遜色のない範囲で，減少させる線形モデルを考案し，数値実験で汎化性を検証した．一対多手法で得られた，一つのクラスとそれ以外を識別する超平面の情報により，例外データとなる可能性が低い（つまり侵入量変数が不要となる）データを予測し，そのデータについては，共通した１つの侵入量変数を用いて変数を大幅に削減したモデルを提案し，数値実験で検証した結果，予測時に用いる閾値を適切に設定した場合，汎化能力を維持しつつ計算時間を大幅に削減できることを確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
１）マージンを最大化するハードマージン型多目的サポートベクトルマシン(MMSVM)モデルを，３種類のソフトマージンモデルに拡張しその理論的性能を検証した．数値実験による性能評価については，学習モデルが凸計画問題となる２つのモデルについて，数値実験で性能評価を行っており，予定通りに進んでいる．また，全モデルについて非線形モデルへの拡張方法を提案できた点は，当初予定よりも少し進んでいる．
２）一対多に基づいたMMSVM (MMSVM-OA) のソフトマージンモデルの変数削減モデルについても，予定通りに線形モデルの性質の理論的検証，数値実験により性能の評価を行えた．
これらのことから，おおむね，H24年度の当初の計画どおり順調に研究を進められたと考えられる．
|
| Strategy for Future Research Activity |
1) H24 年度に検討したMMSVMのソフトマージンモデルの内，学習用モデルが凸計画問題とならないモデルについて，遺伝的アルゴリズムを用いた，多目的モデルのパレート解を近似的に求める方法を提案し，ベンチマーク問題等に適用することで，得られる識別機の性能を評価する．
2) 実行可能領域の限定：MMSVM モデルでの実行可能解を，適切なベクトルの重みつき線形和に限定し，その重みを新たな決定変数にすることで，もとの多目的最適化問題のサイズを減らすことを考える．一対一手法や，各クラスとその残りを識別する問題に1 クラスSVM を適用して得られた解などを利用して問題のサイズを減らしたモデルを導出し，識別関数の識別率や計算時間・使用メモリー量について検討する．
3) すでに提案されているハードマージン型多目的モデルの学習法は，それぞれの従来の一括型・一対多手法で全データを用いて学習した結果，得られた解を改善する形でパレート解を求めており，従来法の求解時間も必要になり，この計算時間も無視することができない．そこで，この点を改善する新しい求解法を検討する．多目的問題に対するパレート解の求解方法を参考にし，実行可能解集合の外側の点を，データ間の重心間の距離・（各クラス間でのデータでのみ学習を行う）一対一手法で得られた解，1クラスＳＶＭでの解により求め，その点とパレート解集合（もしくは実行可能領域）の距離最小の点を（近似的に）求める方法を提案する．
|
| Expenditure Plans for the Next FY Research Funding |
本研究において，最終的に求解対象となる学習モデルが，2次計画問題や2次錐計画といった凸計画問題となる場合は，H24年度までの研究で作成済みのプログラム（Windows 環境のMatlab上での2 次計画・2 次錐計画ソルバーを利用した基本プログラム）を利用・発展させる形で作成するため， Windowsがinstall されたPC とMatlab のライセンスが必要である．
一方で，本年度から，非凸な最適化問題として定式化せざるを得ない学習モデルも対象とするため，遺伝的アルゴリズムといったメタヒューリスティック解法を検討する．その際，凸計画問題に対する厳密解法に比して，自由度が高い求解法の設計や，試行錯誤的なパラメータ設定のために行う様々な環境での並行した実験のために，より大規模なメモリーを搭載したより高性能なマシンが複数台必要になる．
また，H25年度の研究成果の発表や他の研究者との意見交換による更なる研究課題の深化，さらに，当該分野の研究動向調査のために，国内外での会議に参加するための，学会参加費・出張費等に使用する．また，発表用にノートＰＣの購入を計画している．
|
