2014 Fiscal Year Research-status Report
多クラス識別に対する幾何的マージン最大化ソフトマージンサポートベクトルマシン
| Project/Area Number |
24500275
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
巽 啓司 大阪大学, 工学(系)研究科(研究院), 准教授 (30304017)
|
|---|
| Project Period (FY) |
2012-04-01 – 2016-03-31
|
| Keywords | サポートベクトルマシン / 多クラス識別 / 多目的最適化 / 2次錐計画問題 / 一対多手法 / 一括型手法 / 汎化性能 / 機械学習 |
|---|
| Outline of Annual Research Achievements |
１）幾何マージン最大化およびマージン差最小化を同時に行うモデルを非線形に拡張し，そのパレート解集合の各識別率を検証した．マージン差が相対的に小さい解の平均識別率等を検証したが，線形モデルでは確認できていたマージン差の最小化による汎化性能が必ずしもみられるわけではないことが分かった．
２）今まで検討したモデルの中で平均して汎化性の高い，一対多手法に基づくMMSVM(MMSVM-OA)（H23年度までの研究で比較的有効と判断したモデル）のソフトマージンの拡張およびその計算量削減モデルを検討した．H24年度研究の削減方法を改良し，事前に設定する必要のある閾値を用いずに，一対多手法(OAA)で得られた識別超平面により，最終的に構成する識別関数の決定に不要なデータを削除する方法を提案した，識別率がほぼ同等でありながら，多くの問題で計算量を50％以上減少させることを確認した。
３）さらに，MMSVM-OAでの計算量削減をさらにめざし，1クラスSVMの中でもSVDDと呼ばれる方法により，各クラスごとにそのデータの分布状況を学習したのち，その情報をもとに，MMSVMの識別器集合を限定する方法を提案した．SVDDは各１クラスデータのみの学習のため，OAAを用いる部分の計算量を大幅に削減できる．SVDDで得られた情報をもとにMMSVMでの識別超平面限定法を3つの極端なケース（[a]各クラス重心使用，[b]一部のサポートベクトル（SV）使用，[c]全SV使用）で比較したところ (c) が，MMSVM-OAとほぼ同等な識別率を得られるが，後半のMMSVMの学習にはMMSVM-OAより計算時間がかかることも確認し，SVの適切な選択が必要なことが分かった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
線形モデルで汎化性向上につながる可能性がみられたマージン差最小化法が，残念ながら非線形モデルで必ずしも有効とは限らないことが分かった一方で，ソフトマージンMMSVM-OAでの計算量削減法が，H24年度で得られた方法をさらに改良（閾値不要であり，学習データそのものを削減）することができた．また，さらなる削減方法として，SVDDを用いれば，OAAを事前に学習するよりも計算量が削減でき，すくなくとも全サポートベクトルを用いれば，MMSVM-OAに近い汎化性が得られることが分かった．これらのことから，全体としては，おおむね順調に研究を進められたと考えられる．
|
| Strategy for Future Research Activity |
１）Ｈ27年度は最終年にあたることから，Ｈ25年度までに検討したモデルの中で平均して汎化性の高い，一対多手法にもとづくMMSVM (MMSVM-OA)ソフトマージンモデルの更なる改良を検討する．
1a)パレート解を求めるための定式化を見直す．H26年度で用いたMMSVMモデルでの目的関数である「正規化された侵入量」を，「正規化を行わない侵入量」に変更し，侵入量とマージンのトレードオフを自然な形で表せるモデルを検討する. 従来からのε制約法での求解でのパラメータ設定をより容易に行える方法を導出，数値実験による性能検証を行う．また，Ｈ25年度研究で得られた参照点法も用いた求解法の適用結果も比較する．
1b) 従来MMSVM-OAでは，OAAで得られた法線ベクトルのスカラー倍の和で，MMSVMの識別超平面の法線ベクトルを置き換えていたが，OAAの法線ベクトルにより張られる空間上のベクトルで置き換える方法を考える．後半のMMSVMの計算量は若干増加するものの，制約条件が多少削減できることや，MMSVMでの法線ベクトルの限定度合いが緩和されるため，そのバランスによりその識別性能にどのような変化が現れるかを検討する．
２）MMSVM-OAの改良と並行して更なる計算量削減モデルの検討を行う．H25年度の研究で検討したSVDDに基づいたMMDVMについて，MMSVMの法線ベクトル限定に使用するサポートベクトルの選択に関し，得られた各SVDDの半径や，主成分分析等を用いた空間情報を利用する方法を検討する．
|
| Causes of Carryover |
次年度使用が生じた理由は，実際に各経費を使用した際の計画案との誤差によるもの。特に、海外出張費が比較的少なかったため。
|
| Expenditure Plan for Carryover Budget |
金額として大きな額ではないので、計算機実験用のパーソナルコンピュータのスペックを一部高性能化する予定。
|
