| Project/Area Number |
19K12020
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
Wada Toshikazu 和歌山大学, システム工学部, 教授 (00231035)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2021: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2020: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2019: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | Neuro Coding/Unification / CNN pruning / REAP / Serialized ResNet / Pruning Ratio Optimizer / Channel Pruning / AMC / Serialized Residual Net / Feature Sharing / DNN compression / Neuro Coding / Neuro Unification / Biorthogonal basis / Gram Schmidt process / Deep Neural Net / Convolutional Neural Net / Compression / Reconstruction / Coding |
|---|
| Outline of Research at the Start |
本研究は，入力データに対する各ニューロンのレスポンスを記録したNeuro Behavior Vector (NBV)を作成し，このNBVの類似性に基づいてニューロンの統合を行うNeuro-Coding/Unificationの考え方をConvolutional Neural Net(CNN)に拡張し，畳み込み層を校正するChannelのCodingと圧縮を行う手法を開発する．この手法の特性は，Channelを削除することによる性能劣化が起きないようにConvolutionの重みパラメータを更新することにある．これによって，特に再学習を行うことなく，圧縮に伴う性能低下を低く抑えることができる．
|
| Outline of Final Research Achievements |
We address the pruning problem for CNN that reduces the number of channels while keeping the accuracy. We started from a simple idea that similar channel pair having similar behaviors for training data can be replaced by a single channel. We further extended this idea to "reconstruction" that after pruning the channel all weights are updated for keeping the activation patterns in the following layer. Our method REAP guarantees we can find the optimal pruning channel that produces minimal error after the reconstruction. Also, we proposed a method SRN that serialize ResNet for applying REAP and PRO that estimates optimal pruning ratio for each layer.
|
| Academic Significance and Societal Importance of the Research Achievements |
提案したREAPを普通に実装すると，チャネルを削除して最小二乗法による再構築をする，という操作を全チャネルに対して適用して，再構築後の誤差が最小になるチャネルを削除するという計算になる．本研究では，この計算を双直交基底を用いてワンショットで解けるようにしたことが学術的に価値があると考えている．また，広く用いられているResNetに含まれる分岐のある層は削除することができなかったが，この分岐を無くすことによって，広い範囲のCNNにREAPの適用が行えるようになった．さらに，REAPでどの層をどれだけ圧縮すれば最適かを求めるPROによってCNN全体の最適な圧縮が可能になった．
|
