| 研究課題/領域番号 |
19K12020
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分61010:知覚情報処理関連
|
|---|
| 研究機関 | 和歌山大学 |
|---|
研究代表者 |
和田 俊和 和歌山大学, システム工学部, 教授 (00231035)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| 研究課題ステータス |
完了 (2021年度)
|
| 配分額 *注記 |
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2021年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2020年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2019年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
|
|---|
| キーワード | Neuro Coding/Unification / CNN pruning / REAP / Serialized ResNet / Pruning Ratio Optimizer / Channel Pruning / AMC / Serialized Residual Net / Feature Sharing / DNN compression / Neuro Coding / Neuro Unification / Biorthogonal basis / Gram Schmidt process / Deep Neural Net / Convolutional Neural Net / Compression / Reconstruction / Coding |
|---|
| 研究開始時の研究の概要 |
本研究は，入力データに対する各ニューロンのレスポンスを記録したNeuro Behavior Vector (NBV)を作成し，このNBVの類似性に基づいてニューロンの統合を行うNeuro-Coding/Unificationの考え方をConvolutional Neural Net(CNN)に拡張し，畳み込み層を校正するChannelのCodingと圧縮を行う手法を開発する．この手法の特性は，Channelを削除することによる性能劣化が起きないようにConvolutionの重みパラメータを更新することにある．これによって，特に再学習を行うことなく，圧縮に伴う性能低下を低く抑えることができる．
|
| 研究成果の概要 |
本研究では，CNNの機能をできるだけ低下させずに，計算量を削減するCNNの圧縮問題を取り扱った．当初は、学習データに対して各チャネルがどのように反応するのかをベクトルで表現し、線形従属の関係にあるチャネルのうち一方を削除し、残されたチャネルで削除したチャネルの働きを肩代わりさせる手法を提案した．その後，削除したチャネルの働きを，残されたチャネルにかける全ての重みを変更する「再構築」によって，次層の誤差を最小化するREAPという方法に拡張した．さらに，ResNetを直列化して圧縮するSRN,各層ごとの際的な圧縮率の配分を求めるPROという方法を提案した．
|
| 研究成果の学術的意義や社会的意義 |
提案したREAPを普通に実装すると，チャネルを削除して最小二乗法による再構築をする，という操作を全チャネルに対して適用して，再構築後の誤差が最小になるチャネルを削除するという計算になる．本研究では，この計算を双直交基底を用いてワンショットで解けるようにしたことが学術的に価値があると考えている．また，広く用いられているResNetに含まれる分岐のある層は削除することができなかったが，この分岐を無くすことによって，広い範囲のCNNにREAPの適用が行えるようになった．さらに，REAPでどの層をどれだけ圧縮すれば最適かを求めるPROによってCNN全体の最適な圧縮が可能になった．
|
