Development of high generalization classifiers by maximizing the minimum margin and minimizing the maximum margin
| Project/Area Number |
22K04154
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 21040:Control and system engineering-related
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
阿部 重夫 神戸大学, 工学研究科, 名誉教授 (50294195)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
Fiscal Year 2024: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
|
|---|
| Keywords | パターン認識 / サポートベクトルマシン / カーネル法 |
|---|
| Outline of Research at the Start |
高い汎化能力を有するパターン認識を実現するために、以下の新しい、複雑度最小サポートベクトルマシン(Minimum Complexity SVM: MSVM)を開発する。
①種々定義されているSVMの各々に対して、複雑度を最小化する制約式と複雑度を制御する目的関数の項を持つMSVMのアーキテクチャを開発する。
②上記の開発したMSVMの各々について効率よく学習する学習方式を開発する。
③MSVMを、従来の標準のSVM、最小自乗SVMなどと、種々のデータで比較して、汎化能力、計算時間の面でどのMSVMが最も優れているかを評価し、最適なアーキテクチャのMSVMを提案する。
|
| Outline of Annual Research Achievements |
汎化能力が高い識別器として知られている、サポートベクトルマシン(SVM)の汎化能力をさらに向上する方式として、研究代表者は最小マージンを最大化するとともに、最大マージンを最小化する最小複雑度SVM(MSVM)を提案して、LP SVMおよびL1 SVMでMSVMのアーキテクチャと学習法を開発した。本研究の初年度では、MCMとLS(Least Squares) SVMとを融合して、複雑度が最小のMLS SVMのアーキテクチャとその学習方式を開発した。二年度ではL1 SVMをベースにしたMKL1（マルチカーネルL1） SVMとMCMとを融合したMMKL1 SVMのアーキテクチャと学習方式を開発し、ベンチマークデータで評価した結果以下の結論を得た。
① 一般のMKL1 SVMでは、大規模データで学習速度が低下するために、2つのパラメータを持つ3重カーネルのMKL1 SVMのアーキテクチャを開発した。さらにこれに最大マージンの最小化を導入したMMKL1 SVMのアーキテクチャを開発した。
②通常のSVMでの交叉検定では2パラメータの同時変更によりモデル選択を行うが、これをMMKL1 SVMに適用すると5パラメータの同時変更が必要になり、モデル選択が極端に遅くなる。このため、2パラメータを同時変更後に、２パラメータを同時変更し、最後に1つのパラメータを最適化する、3段階モデル選択法を開発して、モデル選択の高速化を図った。
③ 2クラス、および多クラスデータで5つの識別器と汎化能力を比較した結果、MMKL1 SVMが統計的解析では同等かそれ以上の汎化能力があることを確かめた。特に通常のSVMよりもいくつかの問題で統計的に汎化能力が向上することを確かめた。なお、多重カーネルによる性能向上は問題依存性が大きいが、汎化能力の向上を図るうえで最大マージンの最小化は効果があことが分かった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初目標としていたMMK SVMのアーキテクチャと学習方式を開発し、ベンチマークデータでの有効性の評価を完了しており、当初の予定通り研究が進んでいる。
|
| Strategy for Future Research Activity |
2年度に文献調査した中で、ランダムサーチによりモデル選択する方法が格子サーチによるモデル選択よりも高速であるとの論文を見つけた。MMKL1 SVMは3段階のモデル選択で行っているために、大域最適解を見逃している可能性がある。このために、開発した3段階モデル選択で得られる解が十分な性能の解となっているかを検証するためにランダムサーチによるモデル選択と比較する。
また、識別器の安定性に関する論文で、SVMにおける上限に達したサポートベクトルが安定性を阻害しているという論文が著名な論文誌に掲載されていた。これは、従来の知見と異なるものであり、正しいかどうかの計算機実験を進めることにする。
SVMにおいても識別器の安定性は重要な課題であり、SVMの識別安定性を向上する方式の検討を開始する。なお識別の安定性とは教師データテストデータの分割に際して、汎化能力が向上し、パラメータのばらつきを抑えられることをいう。
さらに、MMKL1 SVMに対してさらなる改善の可能性があるかどうかを文献調査を通して調べたい。
|
Report
(2 results)
Research Products
(3 results)
