2018 Fiscal Year Research-status Report
Efficient transfer learning method by selecting feature extraction processing
| Project/Area Number |
17K00334
|
|---|
| Research Institution | Chiba University |
|---|
Principal Investigator |
矢田 紀子 千葉大学, 大学院工学研究院, 助教 (60528412)
|
|---|
| Project Period (FY) |
2017-04-01 – 2021-03-31
|
| Keywords | 畳み込みニューラルネットワーク / 深層学習 / 強化学習 / 進化計算 / 転移学習 / プルーニング |
|---|
| Outline of Annual Research Achievements |
近年, 畳み込みニューラルネットワーク(CNN) によってコンピュータによる物体認識技術は人間と同等の精度を実現できるようになった. 一方で, CNNで必要なメモリや計算のコストが増加しているが，計算性能が低い端末上でCNN を利用したいといった需要が増えている. そこで, CNN の高い認識精度を維持したまま, メモリや計算コストを軽量化することを目的として研究を行なった．軽量化手法の一つにプルーニングが挙げられる．これは特徴量算出に用いるパラメータの中で重要度が低いパラメータを削除することで，精度を維持しつつメモリや計算コストを削減する手法である. 従来のプルーニングでは，事前に決定した方策に基づいて削除するパラメータを決定しているが, その方策が必ずしも最適とは言えないことが考えらえる.
本研究では，進化計算と強化学習の２つのメタヒューリスティクスな手法を用いて事前学習済みネットワークの畳み込み層のフィルタパラメータを自動選択する方法を開発した．これらの手法を用いて，CNN の精度を維持しつつ,コストを削減するプルーニングを行い，それぞれの手法の性能評価を行なった．評価実験には認識難易度の異なる二つのデータセットを用いた．一つは認識難易度の低い手書き数字認識用の画像データセットであるMNIST, もう一つはMNIST と比較すると認識難易度が高い一般物体画像のデータセットであるCIFAR10を用いて評価実験を行なった．実験の結果，進化計算手法に比べて強化学習を用いた手法で安定してプルーニングを行うことができた．強化学習を用いた手法では，MNIST を用いた実験では提案手法は従来手法と同等の性能を示した一方，Cifar10 を用いた実験では削減率が従来手法より劣るという結果になった.
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
昨年度から今年度にかけて約１年間の産前産後の休暇又は育児休業の取得に伴う研究中断があったため，研究計画を修正して平成30年度は初年度に行うべき研究を進めた．初年度は事前学習で得られたネットワークの畳み込み層にある畳み込みフィルタをフィルタ毎に取捨選択する手法の基本アルゴリズムの開発を行う計画であり，当初予定していた進化計算手法に加えて強化学習を用いた手法についても検討を行い，基本アルゴリズムの開発と性能評価を実施できた．
|
| Strategy for Future Research Activity |
今後は，初年度に開発した提案手法を用いて，小規模訓練データセットに対する学習実験を行う．訓練データの規模が小規模である場合の最大の懸念は過学習であるので過学習性について評価を行う．このために訓練データは小規模なものを用いて，汎化性を評価するための評価データにはある程度大規模なデータを利用する必要がある．ラベル付けされた画像データセットから抜粋してデータ数を段階的に変化させた訓練データを用いて評価を行う．上記の評価実験によって提案手法が過学習を起こしてしまう場合には，過学習を回避するよう学習手法を改良する必要がある.過学習を起こす原因として考えられるのは，全結合層の結合荷重の過学習，畳み込み層の特徴抽出フィルタの過学習である.全結合層については，プーリングとマックスアウトにより出力値を決定する手法や，学習に情報量基準を用いる，ブートストラップ法などの再標本化を導入するなど様々な改良手法を検討し，過学習回避を実現する．特徴抽出フィルタについては削減量が不適切であることが考えられるため初期段階で淘汰されてしまったフィルタを学習経過とともに再度評価するなど，処理構造を生成する確率モデルを改良する.
|
| Causes of Carryover |
研究代表者が乳児の育児中であったため当初計画していた出張を伴う学会への参加を見送り，旅費を執行することができなかった．また，育児休業からの復職支援として所属大学からリサーチアシスタントの雇用費用支援を受けることができたため，人件費の執行を見合わせた．
平成３０年度に行うことができなかった学会参加と雇用を次年度に行うことで使用する．
|
Research Products
(1 results)
