2018 Fiscal Year Research-status Report
Deep Quasi-Linear SVM Based on Deep Neural Network and Its Applications
| Project/Area Number |
17K06506
|
|---|
| Research Institution | Waseda University |
|---|
Principal Investigator |
古月 敬之 早稲田大学, 理工学術院(情報生産システム研究科・センター), 教授 (50294905)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 深層ニューラルネットワーク / サポートベクターマシン / 深層学習 / 機械学習 / パターン認識 |
|---|
| Outline of Annual Research Achievements |
本研究では、回帰または分類のための利用しやすい線形構造を有する準線形サポートベクターマシン（SVM)の構成および深層ニューラルネットワークによる準線形カーネルの構築、さらに画像などのデータに直接適用できる高性能準線形SVM分類器の開発を行う。目指している深層準線形SVMでは、深層準線形カーネルを持っており、深層ニューラルネットワークにより深層準線形カーネルを深層学習で合成する。このように、訓練済の深層ニューラルネットワークからSVMのカーネルを合成し（転移学習）、このカーネルに基づいた分類器のを小データでSVM最適化することによって、小データで深層学習を行っている。本年では、畳み込みニューラルネットワーク（CNN）や再帰型ニューラルネットワーク（RNN）などの深層NNの場合に拡張を行った。具体的に、
①CNNやRNNなどの深層NNにおけるサブネットワーク形成の解析を行い、深層CNNや深層RNNからサブネットワークのダイナミック構成情報を抽出する技術の開発を行った。
②階層型特徴量の抽出機能を重視した深層CNNや深層RNNにおける深層カーネル関数の合成技術を開発し、深層NNからサブネットワークのダイナミック構成情報を抽出し、深層準線形SVMの構築を行った。
③深層準線形SVMによる二段深層学習の技術を開発した。第一段階では、従来の深層学習で転移学習による深層ニューラルネットワークを訓練し、深層ネットワークのサブネットワークのダイナミック構成情報を抽出して、深層カーネルを合成する。第二段階では、深層カーネル関数を利用し、ゲート付線形ネットワークのパラメータセットを小データでSVM最適化で推定する。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度では、計画通り①CNNやRNNなどの深層NNにおけるサブネットワーク形成の解析を行った。②階層型特徴量の抽出機能を重視した深層CNNや深層RNNにおける深層カーネル関数の合成技術を開発した。③深層準線形SVMによる二段深層学習の技術を開発した。
|
| Strategy for Future Research Activity |
次年度の最終年度では、これまで開発した深層準線形SVMシステムの応用展開の研究を中心にして、深層準線形SVMを高速化し高性能な非線形分類器の構築を行い、画像、音声とテキストやDNAタンパク質配列の分類識別などの応用研究を行う。具体的、
①深層準線形SVMの一つの特徴が小データでも深層学習を実現できるが、高次元大規模なデータに適用する場合には、SVMの高速化が必要になる。そこで、小データに基づいたSVMを参考分類器とするサポートベクターになる確率高いサンプル検出技術を開発する。サポートベクターになる確率高いサンプルによる訓練データを再構成し、深層準線形SVMの高速化を行う。
②画像、音声、テキストや遺伝子機能予測のための高性能な知的分類器の構成を行い、異常検知などの応用研究を行う。
さらに、深層準線形SVMの構成と応用に関する成果を取りまとめ、成果の発表を行う。
|
| Causes of Carryover |
（理由）
主に旅費の利用が予定より少なかったため。
（使用計画）
翌年度分と合わせてもう一台計算用サーバーを購入する予定している。
|
