2021 Fiscal Year Annual Research Report
CNN compaction based on Neuro-Coding/Unification
| Project/Area Number |
19K12020
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
和田 俊和 和歌山大学, システム工学部, 教授 (00231035)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | Channel Pruning / REAP / Pruning Ratio Optimizer / AMC |
|---|
| Outline of Annual Research Achievements |
これまでにNeuro Coding, Neuro Unification, これを改良したREAPという層単位でPruningとReconstractionを同時に行う手法を提案し，これを分岐構造を含むResNetに適用するために，Serialized ResNet(SRN)という手法を提案してきた．今年度は，REAPを適用する場合に，どの層をどれくらいPruningすれば，全体として効率的なチャネルの削減が行えるかを調べる手法Pruning Ratio Optimizer (PRO)の改良を行い性能評価を行った．
REAPとPROの組み合わせでの性能は，MITで開発された，強化学習を用いて層ごとの圧縮率を決めるAutoML for Model Compression(AMC)とCPと呼ばれる既存のPruning手法の組み合わせと比べても，著しい性能向上が見られた．ImageNetでトレーニングしたVGG16を対象とした場合，計算量を1/5になるまで圧縮すると，精度はAMC+CPの場合49.7%であったのに対し，PRO+REAPの場合，80.5%であった．それぞれの結果得られたモデルを再トレーニングした後の精度は，AMC+CPは85.8%, PRO+REAPは88.2%であり，再トレーニングをしてもその差は3%近く開いていた．これは，層ごとの圧縮率が誤って推定された場合，計算量の制限に対して最適ではないネットワークが得られるため，再トレーニングを行なっても精度の点で劣ってしまうということである．PROの優秀さは，PRO+CPという組み合わせで1/5になるように圧縮しても，再学習なしで73.6%，再学習すると87.8%という精度が達成できることからも明らかである．
但し，SRNによって直列化されたResNetに対しては，PROで適切な層の割り当てが行えないことも確認した．
|
