2017 Fiscal Year Research-status Report
Deep Quasi-Linear SVM Based on Deep Neural Network and Its Applications
| Project/Area Number |
17K06506
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
古月 敬之 早稲田大学, 理工学術院(情報生産システム研究科・センター), 教授 (50294905)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 深層ニューラルネットワーク / サポートベクターマシン / 深層学習 / 機械学習 / パターン認識 |
|---|
| Outline of Annual Research Achievements |
本研究では、回帰または分類のための利用しやすい線形構造を有する準線形サポートベクターマシン（SVM)の構成および深層ニューラルネットワークによる準線形カーネルの構築、さらに画像などのデータに直接適用できる高性能準線形SVM分類器の開発を行う。目指している深層準線形SVMでは、深層準線形カーネルを持っており、深層ニューラルネットワークにより深層準線形カーネルを深層学習で合成する。このように、訓練済の深層ニューラルネットワークからSVMのカーネルを合成し（転移学習）、このカーネルに基づいた分類器のを小データでSVM最適化することによって、小データで深層学習を行っている。本年では、Fully-Connected ReLU活性化関数を持つ深層ニューラルネットワークを利用する場合の方法論の考案と解析、およびアルゴリズムの開発を行った。具体的に、
①深層学習において、ReLU、maxout、およびs% winner-take-allなどの活性化関数による局所競争およびサブネットワークの形成についての解析を行い、これにより訓練済の深層ニューラルネットワークから入力パターンに応じてサブネットワークのダイナミック構成情報を抽出する技術の開発を行った。
②ゲート付線形ネットワークによる深層ニューラルネットワークの振舞を模倣し、サブネットワークのダイナミック構成情報を抽出し、それに基づいてサポートベクターマシンのための深層カーネルを合成した。
③深層準線形サポートベクターマシンの構成を行った。具体的に、SVM最適化技術をゲート付線形ネットワークのパラメータセットの推定にて適用することによって、深層準線形カーネルを導出し、階層的構造を持つ準線形SVMを構築した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度では、計画通り①サブネットワークの形成についての解析を行い、入力パターンに応じたサブネットワークのダイナミック構成情報の抽出技術を開発した。 ②サポートベクターマシンのための深層カーネルを合成した。③深層準線形サポートベクターマシンの構成を行った。
|
| Strategy for Future Research Activity |
次年度では、畳み込みニューラルネットワーク（CNN）や再帰型ニューラルネットワーク（RNN）などの深層NNの場合に拡張を行い、研究を進めていく。
①CNNやRNNなどの深層NNにおけるサブネットワーク形成の解析を行い、深層CNNや深層RNNからサブネットワークのダイナミック構成情報を抽出する技術の開発を行う。
②階層型特徴量の抽出機能を重視した深層CNNや深層RNNにおける深層カーネル関数の合成技術を開発し、深層NNからサブネットワークのダイナミック構成情報を抽出し、深層準線形SVMの構築を行う。
③深層準線形SVMによる二段深層学習の技術を開発する。第一段階では、従来の深層学習で転移学習による深層ニューラルネットワークを訓練し、深層ネットワークのサブネットワークのダイナミック構成情報を抽出して、深層カーネルを合成する。第二段階では、深層カーネル関数を利用し、ゲート付線形ネットワークのパラメータセットを小データでSVM最適化で推定する。
|
| Causes of Carryover |
（理由）雑費が利用しなくなったため
（使用計画）翌年度分を合わせてより性能がよい計算機を購入する予定している。
|
