2014 Fiscal Year Research-status Report
畳み込み層の識別的初期化に基づく少サンプル深層学習法の構築
| Project/Area Number |
26730085
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
中山 英樹 東京大学, 情報理工学(系)研究科, 講師 (00643305)
|
|---|
| Project Period (FY) |
2014-04-01 – 2016-03-31
|
| Keywords | 人工知能 / 画像認識 / ディープラーニング |
|---|
| Outline of Annual Research Achievements |
まず、本研究の基盤となる、フィッシャー重みマップ法を用いた畳み込み手法の理論的妥当性を考察すると共に、他の多変量解析手法を用いた場合との定量的な比較を行った。この結果、フィッシャー重みマップはランク落ちが発生しにくいことから多数の識別的な畳み込みフィルタを安定に得ることができ、ほぼ全ての場合において最もよい結果が得られることが判明した。
また、これを多段階でボトムアップに積み重ねることにより、多層畳み込みニューラルネットワークの構築を行った。この時、畳み込み層の後に配置する活性化関数やプーリング層の構造がよい性能を得るために重要であることが判明し、十分な試行錯誤を行った。この結果、比較的少数の教師付きサンプルから高性能の深層畳み込みニューラルネットを構築することに成功し、MNIST・STL-10などの本分野におけるいくつかの代表的なベンチマークにおいてstate-of-the-artの識別精度を達成した。同時に、完成したアルゴリズムのGPU実装に関する検討を行い、拡張性にすぐれたライブラリの開発を行っている。
さらに、フィッシャー重みマップを全層で用いるのではなく、中間層は主成分分析などの生成的な手法を織り交ぜながらランダムに構築することで性質の異なるネットワークを簡便かつ大量に構築可能であることに着目し、これらのアンサンブルを用いることで、提案手法のメリットを損なわず、最終的な識別精度を大きく向上させることに成功した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
最新の研究動向に鑑み、当初研究計画から多少手順の変更が生じたが、「少数の訓練サンプルから高速に多層畳み込みニューラルネットワークを構築する」という、本研究の最上位の目標は前述の通り既に達成されている。特に、本手法の最大のオリジナリティである解析的アプローチによるメリットを損なわず、多層ネットワークにおいてstate-of-the-artの性能を達成したことは、現在本分野で主流となっている最適化ベースの考え方に一石を投じる大きな成果であると考える。また、複数のネットワークをランダムに構築するアプローチは当初計画では想定していなかった新しい発見であり、本研究の独自性を更に深化させる重要な手がかりである。
一方、重要な技術的検討事項である誤差逆伝播法との統合については未着手の状況であり、第二年度において優先的に取り組む必要がある。また、より大規模なベンチマークデータセットによる評価を徹底的に行うべきである。
|
| Strategy for Future Research Activity |
第二年度は、初年度に完成させた多層畳み込みニューラルネットワーク構築法を初期化手法と捉え、誤差逆伝播法によりfine-tuningを加えることで、より学習を精緻化させ精度向上を行う。これにより、本研究で目標とする一連の枠組みが完成される。実装は、CaffeやTorch7等の汎用的deep learningツールにシームレスに組み込む予定である。また、研究成果をまとめて国際論文誌への投稿を行う。
同時に、複数のネットワークの並列学習法の開発や、GPGPU・クラスタ等を用いたシステム構築など、理論・実装の両面からの高速化を進める。
|
Research Products
(5 results)
