2013 Fiscal Year Research-status Report
多クラス識別に対する幾何的マージン最大化ソフトマージンサポートベクトルマシン
| Project/Area Number |
24500275
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
巽 啓司 大阪大学, 工学(系)研究科(研究院), 准教授 (30304017)
|
|---|
| Keywords | サポートベクトルマシン / 多クラス識別 / 多目的最適化 / 2次錐計画問題 / 一対一手法 / 一括型手法 / 汎化性能 |
|---|
| Research Abstract |
1) すでに提案済みの幾何マージンを最大化する多クラスSVM(MMSVM)の学習時の計算量を削減するモデルを提案した．多クラス識別に従来からよく用いられている方法の中で，比較的計算量が少ない一対一手法を用いてまず学習を行い，得られた複数の識別超平面の法線ベクトルの重み付き和で，MMSVMで用いる識別平面の法線ベクトルを限定し，結果として，その決定変数の数や，実行可能領域を限定したモデルを提案した．すでに提案したMMSVM，一対多手法に基づいたMMSVMなどの方法に比べ，必要なメモリー量・計算量を多くの問題で削減できている．
2）一対一手法を用いたMMSVMの学習法として，従来の一対一手法で得られた暫定解を参照点として用い，その点からの距離が最小となるパレート解を近似的に求める方法を提案し，ベンチマーク問題を用いて検証した．一対多手法を用いたMMSVMに比較すると，それぞれ，従来型の一対多手法，一対一手法が得意とする問題に対して，互いに汎化性の高い解が得られることが分かった．また，一対一手法を用いたMMSVMが他のモデルより学習時の計算量を削減できていることを確認した．
3) 今までのモデルでは，求める識別関数として，各クラスと識別超平面への距離の最小値である「幾何マージン」最大化を意図したモデルを提案してきたが，今年度は，その最大化と「各クラス間からの距離の差（＝マージン差）の最小化を同時に行うモデルを提案し，その求解法として遺伝的アルゴリズムを用いた学習法を導出した．まずは，線形SVMをもちいて検証したところ，マージン最大化とマージン差の最小化のバランスを適切にとることで，識別率が上昇する問題があることを確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
(i)一対一手法を用いて得られた解に基づき，MMSVMの識別平面の解候補を限定するモデルを提案した．また、その求解法として，(ii) パレート最適解の近傍からその解に近いものを選択する参照点法を提案し，その性能を調べることができ，どちらも，予定通り進んでいる．また，このモデルをいくつかのベンチマーク問題に適用し，汎化能力を検証したところ，従来の一対多手法を用いるMMSVMなどと比べ計算時間を軽減することができた．また，一対一手法を用いると汎化性が高い識別器が求まる傾向のある問題に対しては，多くの場合，さらに高い識別率を達成することができた．これらの高い汎化性をもつ識別器は，もとのMMSVMの解集合の中に含まれており，幾何マージン最大化の考え方が識別器構成上重要であることも確認できた．
(iii)として，幾何マージンを最大化しながら，マージン差を最小化するモデルを提案し，その線形モデルについて，遺伝的アルゴリズムを利用して近似解を求める方法を開発した．これも予定通りに進んでいる．
|
| Strategy for Future Research Activity |
１）幾何マージン最大化およびマージン差最小化を同時に行うモデルを非線形に拡張し，その汎化性を検証する．また，従来のMMSVMのパレート解集合内の解を調べ，マージン差の小さい解がどの程度の汎化性を持つかも検証する．
２）今まで検討したモデルの中で平均して汎化性の高い，一対多手法にソフトマージンモデル（H23年度の研究で比較的有効と判断したモデル）への拡張およびその計算量削減モデルを検討する．まず，一対多手法で得られたサポートベクトルと呼ばれる重要なデータの情報を用いて，最終的に構成する識別関数の決定に不要と考えられるデータを削除し，制約条件の数を減少させることで学習に必要なメモリー・計算量を削減することを考える．さらに，例外データとして明らかに判断できるデータも削除するモデルも検討する．
３）今まで検討したすべてのモデルでは，提案モデルMMSVMの学習のために従来法で求まった暫定解が必要であり，その学習のためのメモリー・計算量も必要となっていた．その低減化案として，2クラスではなく，1クラスSVMを用いた学習を各クラスに行い，その際に得られた情報をもとに，MMSVMの識別器集合を限定する方法を検討する．各クラスデータのみを用いた学習のため，従来法に比べ計算量の削減が期待できる．特に，support vector data description (SVDD) に着目し，新しいモデルを構築する．SVDDにより，各クラスデータの大まかな分布状況を把握した上で，識別率を維持したモデルを構築可能か検討する．
|
| Expenditure Plans for the Next FY Research Funding |
次年度使用額が生じた理由は，実際に各経費を使用した際の計画案との誤差のため。特に，海外出張費が予定していたよりも比較的少なかったため。
金額としては大きな額ではないので、計算実験用のパーソナルコンピュータを購入する際に追加費用（メモリなどのさらなる増設）として使用する予定。
|
