2020 Fiscal Year Research-status Report

Development of high generalization classifiers by controlling margin distributions

Research Project

Project/Area Number	19K04441
Research Institution	Kobe University
Principal Investigator	阿部重夫神戸大学, 工学研究科, 名誉教授 (50294195)
Project Period (FY)	2019-04-01 – 2022-03-31
Keywords	パターン認識 / サポートベクトルマシン / 最小マージンの最大化 / 最大マージンの最小化 / 線形計画法
Outline of Annual Research Achievements	研究初年度において、SVM（サポートベクトルマシン）の汎化能力を向上する方法として、VC (Vapnik-Chervonenkis)次元の最小化を図ったMCM（最小複雑度マシン）とSVMとを融合する方式を提案して、LP（線形計画）SVMにおいてMCMと融合したMLP SVMにおいてその有効性を検証した。このため、本年度でもSVMとMCMを融合することにより汎化能力を向上する研究を進め、以下の成果を得た。１．標準的に用いられるSVMであるL1 SVMとMCMとを融合したML1 SVMのアーキテクチャおよび学習プログラムを開発し、いくつかの2クラスおよび多クラスデータで計算機評価実験を行った。その結果、2クラスではML1 SVMとL1 SVMとの統計的な差異はなかったが、多クラスではML1 SVMがL1 SVMより汎化能力が向上することを示した。また、ML1 SVMは、最小マージンの最大化を行うL1 SVMに加えて、さらに最大マージンを同時に最小化することを示した。２．データに外れ値が含まれる場合に、最大マージンを最小化すると外れ値の影響が汎化能力に影響を及ぼす可能性がある。このためMLP SVMの汎化能力をさらに向上するために、外れ値を自動的に除いて最大マージンを最小化するSLP SVMのアークテクチャを開発した。さらにこれをプログラム化してベンチマークデータでの評価を行い、通常のデータではMLP SVMと同程度の汎化能力であることを示した。この結果、LP SVMに対しては、MLP SVMで十分な汎化能力の向上が得られることを示した。３．L1 SVMの学習で解が微妙に変化する現象を解析した結果、収束条件を緩めているために起きることが判明した。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason ML1 SVMの学習方式をプログラミングし、種々のベンチマークデータで評価を行い、従来のL1 SVMよりも汎化能力が向上することを示した。さらにMLP SVMの汎化能力を向上するアーキテクチャを開発しており、研究は順調に進展している。
Strategy for Future Research Activity	１．ML1 SVMに対して、外れ値の影響を考慮したSL1 SVMのアーキテクチャとその学習法を開発する。さらにベンチマークデータで評価を行い、ML1 SVMとの違いを明らかにする。２．SVMの変形の１つである最小自乗SVM (LS SVM) はデータが分離超平面の周りに分布するように、超平面を決定するために、最大マージンを最小化する効果も含まれると考えられる。しかしながら、データでの評価実験では、他の識別器よりも性能劣化する場合がある。このため、MLS SVMのアーキテクチャと学習方式を開発して、これらの問題で最大マージン最小化により汎化能力が向上するか評価する。３．SVMのカーネルを多重化するマルチカーネルで汎化能力が向上することが知られているが、マルチカーネルSVMに最大マージン最小化の概念を導入して、さらに汎化能力が向上するか研究する。
Causes of Carryover	コロナの影響で出張ができなかったために、残金が生じたが、次年度にまとめて使用する予定である。