| 研究実績の概要 |
これまでにNeuro Coding, Neuro Unification, これを改良したREAPという層単位でPruningとReconstractionを同時に行う手法を提案し，これを分岐構造を含むResNetに適用するために，Serialized ResNet(SRN)という手法を提案してきた．今年度は，REAPを適用する場合に，どの層をどれくらいPruningすれば，全体として効率的なチャネルの削減が行えるかを調べる手法Pruning Ratio Optimizer (PRO)の改良を行い性能評価を行った．
REAPとPROの組み合わせでの性能は，MITで開発された，強化学習を用いて層ごとの圧縮率を決めるAutoML for Model Compression(AMC)とCPと呼ばれる既存のPruning手法の組み合わせと比べても，著しい性能向上が見られた．ImageNetでトレーニングしたVGG16を対象とした場合，計算量を1/5になるまで圧縮すると，精度はAMC+CPの場合49.7%であったのに対し，PRO+REAPの場合，80.5%であった．それぞれの結果得られたモデルを再トレーニングした後の精度は，AMC+CPは85.8%, PRO+REAPは88.2%であり，再トレーニングをしてもその差は3%近く開いていた．これは，層ごとの圧縮率が誤って推定された場合，計算量の制限に対して最適ではないネットワークが得られるため，再トレーニングを行なっても精度の点で劣ってしまうということである．PROの優秀さは，PRO+CPという組み合わせで1/5になるように圧縮しても，再学習なしで73.6%，再学習すると87.8%という精度が達成できることからも明らかである．
但し，SRNによって直列化されたResNetに対しては，PROで適切な層の割り当てが行えないことも確認した．
|
