2022 Fiscal Year Research-status Report
Development of high generalization classifiers by maximizing the minimum margin and minimizing the maximum margin
| Project/Area Number |
22K04154
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
阿部 重夫 神戸大学, 工学研究科, 名誉教授 (50294195)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | パターン認識 / サポートベクトルマシン / カーネル法 |
|---|
| Outline of Annual Research Achievements |
汎化能力が高い識別器として、サポートベクトルマシン(SVM)がある。SVMでは、分離超平面からのデータの最小距離（マージン）が最大になるように分離超平面を決定している。しかしながらVapnikの理論は、最小マージン最大化とともに、教師データを含む超球の直径を最小化することが汎化能力の向上につながることを示している。このため全体のマージン分布を最小化する方法として、研究代表者は最小マージンを最大化するとともに、最大マージンを最小化する最小複雑度SVM(MSVM)を提案し、2つの種類のSVMでMSVMのアーキテクチャと学習法を開発するとともに、従来のSVMよりも汎化能力が向上することを確認している。
本研究の初年度は、MCMとLS(Least Squares) SVMとを融合して、複雑度が最小のMLS SVMのアーキテクチャとその学習方式を開発した。さらに、2クラスおよび多クラス問題で評価を行い、次の結論を得た。
① LS SVMは教師データを最大マージンの周りに最小自乗誤差で分布するように超平面を決定するために、最大マージンの最小化に似た最適化を行っているといえる。これに最大マージンの最小化を導入したMLS SVMとベンチマークデータで評価した結果、統計的検定によって、両者の識別能力には差がないことが示された。
② L1 SVMと比較して、LS SVMで汎化能力が極端に悪くなるベンチマークデータが存在する。このデータに関してはMLS SVMでも向上できなかった。この理由は、LS SVMが最小二乗法によっているが、汎化能力が低下するベンチマークデータは離散入力が多く、このために最小二乗法では、データの性質を十分に反映できないためと思われる。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初目標としていたMLS SVMのアーキテクチャと学習方式を開発し、ベンチマークデータでの評価を完了しており、当初の予定通り研究が進んでいる。
|
| Strategy for Future Research Activity |
研究計画に従い、以下の課題に対して研究を進める。
① MSVMのアーキテクチャの開発：多重カーネルを持つMK SVMは従来の単一カーネルのSVMに対して汎化能力が向上することが知られている。汎化能力の高いMK SVMに SVMで最大マージンの最小化の仕組みを導入たMMK SVMを開発する。
② MSVMの高速学習方式の開発：MMK SVMに適した高速学習法を開発する。
③ MSVMの性能評価：MMK SVMおよびこれまで開発しているMLP SVMとML1 SVMとを汎化能力および学習時間の観点から評価する。これに加えて従来のLP SVM、L1 SVM、LS SVM、MK SVMなどと比較を行う。このとき、複数の教師、テストデータのペアで教師データを用いた学習とテストデータによる評価を行い、MSVMが従来のSVMよりも統計的有意差があるかの検定を行う。以上の検討を踏まえて、いくつかのMSVMのうち、どのMSVMのアーキテクチャが汎化能力の高い識別器となりうるかを検討する。MLP SVMとML1 SVMとの比較では、ML1 SVMの方が一般に汎化能力がよかったが、MLS SVMおよびMMK SVMのいずれかがML1 SVMを凌ぎ得るかを明らかにすることが目的である。
④ MSVMの拡張：③の評価で、各MSVMの利点、欠点が明らかになるので、これにより、改良点の洗い出しを行い、必要な改良を加える。文献調査によると、識別の安定性を向上する方式が種々検討されている。MSVMの安定性を向上する方式の検討も進める。
|
| Causes of Carryover |
コロナにより当初計画していた出張を控えたために、次年度使用額が生じた。次年度は出張が可能になると考えられるので、出張予算の補充として使用したい。
|
