2019 Fiscal Year Research-status Report
Efficient transfer learning method by selecting feature extraction processing
| Project/Area Number |
17K00334
|
|---|
| Research Institution | Chiba University |
|---|
Principal Investigator |
矢田 紀子 千葉大学, 大学院工学研究院, 助教 (60528412)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 畳み込みニューラルネットワーク / 深層学習 / 転移学習 / プルーニング / 強化学習 |
|---|
| Outline of Annual Research Achievements |
近年, 畳み込みニューラルネットワーク(CNN) によってコンピュータによる物体認識技術は人間と同等の精度を実現できるようになった. 一方で, CNNで必要なメモリや計算のコストが増加しているが，計算性能が低い端末上でCNN を利用したいといった需要が増えている. そこで, CNN の高い認識精度を維持したまま, メモリや計算コストを軽量化することを目的として研究を行なった．軽量化手法の一つにプルーニングが挙げられる．これは特徴量算出に用いるパラメータの中で重要度が低いパラメータを削除することで，精度を維持しつつメモリや計算コストを削減する手法である. 従来のプルーニングでは，事前に決定した方策に基づいて削除するパラメータを決定しているが, その方策が必ずしも最適とは言えないことが考えらえる．そこで本研究では，強化学習を用いてCNN の精度を維持しつつ，最適なプルーニング対象のフィルタを決定する手法を提案した．また，開発した提案手法に改良を加えながら，小規模訓練データセットに対する学習実験を行った．
画像データセットにMNIST，アーキテクチャにVGG13を用いた実験の結果では，精度の悪化なしに，98.8%のパラメータを削減することができ，精度，圧縮率ともに既存手法よりも良い結果を示した．画像データセットにCIFAR10，アーキテクチャにVGG19を用いた実験の結果では，テスト精度の悪化はなかったが，十分にパラメータを削減することができなかった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究開始直後に約１年間の産前産後の休暇又は育児休業の取得に伴う研究中断があったため，研究計画を修正して平成30年度に初年度に行うべき研究を進め，１年間の研究期間延長を申請した．初年度は事前学習で得られたネットワークの畳み込み層にある畳み込みフィルタをフィルタ毎に取捨選択する手法の基本アルゴリズムの開発を行う計画であり，平成30年度は当初予定していた進化計算手法に加えて強化学習を用いた手法についても検討を行い，基本アルゴリズムの開発と性能評価を実施できた．令和元年度は2年目の研究計画に従って，これまでに開発した提案手法を用いて，小規模訓練データセットに対する学習実験を行い，提案手法の改良を行った．
|
| Strategy for Future Research Activity |
これまでに行った実験で対象データセットによってはパラメータ削減を十分に行えない場合があった．これは，報酬の設定によって正しく学習が進まなかった事が原因のひとつと考えられるため，報酬関数を変更して削減の停滞に対する罰則を与えるなどといった改善策が挙げられる．また，学習時間を短縮させるアルゴリズムに変更したり，ハイパーパラメータ数を減らしてパラメータの調整を容易にするなど改良を行う．さらに，学習用データセットに対する実験結果を踏まえて，提案手法を大規模なデータセットを用意することが困難な実用的な問題に対して適用し，結果の評価を行う.
|
| Causes of Carryover |
計画していた出張を伴う学会への参加を見送ったため，旅費を一部執行することができなかった．また，所属大学からリサーチアシスタントの雇用費用支援を受けることができたため，人件費の執行を見合わせた．
今年度に行うことができなかった学会参加と雇用を次年度に行うことで使用する．
|
