2019 Fiscal Year Research-status Report
Development of high generalization classifiers by controlling margin distributions
| Project/Area Number |
19K04441
|
|---|
| Research Institution | Kobe University |
|---|
Principal Investigator |
阿部 重夫 神戸大学, 工学研究科, 名誉教授 (50294195)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | パターン認識 / サポートベクトルマシン / 学習 / 線形計画法 |
|---|
| Outline of Annual Research Achievements |
パターン認識技術は、情報、化学の分野のみならず、医療診断など、さまざまな分野で活用されているが、高い汎化能力（未知のデータに対する識別能力）を実現するパターン認識技術としてサポートベクトルマシン(SVM)の研究が活発に行われている。研究代表者は、「多くの分野でSVMより格段に汎化能力の高い識別器が存在しうるか」という根本的な問いに基づいて、SVMの汎化能力向上を目指した研究を進めている。SVMを凌ぐ一つの候補としてVC (Vapnik-Chervonenkis) 次元を最小化するMCM (Minimum Complexity Machine)が開発されているが、事前検討によりMCMでは解が収束しない、あるいは汎化能力がそれほどよくない等の問題があることが分かった。このためMCMとSVMとを融合して汎化能力の向上を図る研究に着手した。この結果、研究の初年度で以下の成果が得られた。
１．MCMと線形計画SVM (LPSVM)とを融合するMLP SVMを開発して、解の収束の問題を解決した。また、いくつかのベンチマーク問題でMCMおよびLP SVMよりも平均的に汎化能力が向上することを確かめた。しかしながら、SVMよりも汎化能力が向上するまでには至らなかった。
２．標準のSVM (L1 SVM)とMCMとを融合するML1 SVMのアーキテクチャを開発した。変数の数はL1 SVMの2倍になるがそれらの変数を2つの組に分割して、交互に学習する、ML1 SVMの学習法を開発した。さらに、学習が収束することを理論的に証明できる変数の選択法を開発した。
３．学習法を検討する中で、L1 SVMの学習でパラメータの条件により収束する解が微妙に変化する現象が見つかった。SVMは2次計画問題で定式化され、解は一意であることが知られており、これに反する特異現象が存在することを明らかにした。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
MLP SVMによりMCMの解が存在しない問題を解決するとともに、計算機実験によりLP SVMより汎化能力が向上することを示した。さらに、ML1 SVMのアーキテクチャとその学習法を開発するとともに、学習が収束することを理論的に証明した。さらにSVM学習における解の非一意性の特異現象が存在することを示した。
|
| Strategy for Future Research Activity |
１．ML1 SVMの検証：ML1 SVMのプログラムを開発して、ML1 SVMがMCMおよびL1 SVMよりも汎化能力が向上することを、ベンチマーク問題で検証する。
２．SVMの解の非一意性：2次計画問題でありながらなぜ非一意になるかの理論的な解析を進める。
３．MSVMの拡張：ML1 SVMよりさらに汎化能力を向上する方式を検討する。
|
