| 研究課題/領域番号 |
19K12020
|
|---|
| 研究機関 | 和歌山大学 |
|---|
研究代表者 |
和田 俊和 和歌山大学, システム工学部, 教授 (00231035)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| キーワード | REAP / Pruning Ratio Optimizer / Serialized Residual Net / Feature Sharing |
|---|
| 研究実績の概要 |
すでに開発したNeuro Coding/Unificationをさらに発展させたReconstruction Aware Pruning:REAPは，層単位のDNN圧縮法としては，最も性能が良い圧縮法である．この手法は，すでに全結合層および畳み込み層への適用が完了しており，従来法と比べても高い圧縮性能を持つことが確認されている．しかし，この手法を実際のDNNに適用するには，次の２つの問題がある．①REAPが総単位の圧縮法であるが故に，どの層をどの程度圧縮すれば全体に与える影響を最小化しつつ，圧縮による計算量を大きく削減することができるかが分かっていない，②ResNetに含まれるような分岐を持つ層はREAPで圧縮することができない．これら２点に関する研究を主に行なった．
①に関しては，まず，各層で数個の異なる圧縮率を指定して，REAPを適用した後に，最終層での誤差を評価し，どの層をどの程度圧縮すると，誤差がどの程度大きくなるかを表すグラフを内挿によって求める．このグラフを参照し，指定した許容誤差以下で最も圧縮率が高くなる，あるいは計算量が小さくなるように，各層の圧縮率を決定するPruning Ratio Optimizer: PROを提案した．②に関しては，ResNetを対象として，分岐をなくした上で再学習を行い，その上でREAPを適用する Serialized Residual Net:SRN を提案した．①及び②を用いることにより，REAPを実用的なネットワークに適用することができるようになり，DNNモデルのサイズを削減して，軽量かつ高速なモデルの作成が行えることを確認した．
これら以外に，複数のDNNを並列的に動作させる際の圧縮法として，異なるDNN間で特徴マップを共有する Feature Sharingに関する研究を行なった．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
当初の計画では，層単位の圧縮法を開発することを目的としていたが，今年度の研究成果①と②によって，ネットワーク全体の最適な圧縮を行うことができるようになり，しかも，幅広く用いられているResNetのような分岐を含むネットワークも扱えるようになった．また，Feature Sharingについても研究を行い，特にモデルサイズの削減にとって有効であることを示した．
|
| 今後の研究の推進方策 |
今後は，REAPだけでなく，PRO及びSRNの技術を全て使い，実用的なネットワークを圧縮して，社会実装を行うことを目的として研究を行う．当面の目標としては，画像からの物体検出に用いられるCenterNetを対象にして，スマートフォン及びJetson Nano上での実行を行い，圧縮の有無による速度・精度の性能評価を行い，可能な範囲で共同研究先と協力して社会実装を行う．
|
| 次年度使用額が生じた理由 |
当初予定していた出張がCoVID19蔓延のため，中止，あるいはリモート開催となったこと，及び，予定していた出版が年度内に行えなかったため，次年度使用額が発生した．次年度では，電子情報通信学会英文誌への論文掲載料と，学会参加費，及び記録媒体などの消耗品費として使用する予定である．
|
