2020 Fiscal Year Annual Research Report
ディープニューラルネットワークモデルの高速化および省メモリ化
| Project/Area Number |
20J15177
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
菅間 幸司 和歌山大学, システム工学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2020-04-24 – 2022-03-31
|
| Keywords | プルーニング / NU / REAP / PRO / SRN |
|---|
| Outline of Annual Research Achievements |
プルーニング手法の開発：Deep Neural Network（DNN）モデルを圧縮するための技術であるプルーニング手法を新たに開発することを目指し、Neuro-Unification（NU）およびその発展形であるReconstruction Error Aware Pruning（REAP）を提案した。それぞれについて、実装・評価実験を行い，その結果を論文にまとめた。これらは既に２０２０年度の論文誌に掲載されている。また、REAPに関して国内の研究会において発表を行なった。
圧縮率最適化手法の開発：REAPはDNNの層ごとの誤差が最小化されるように圧縮を行う手法であり、モデル全体の挙動への影響を評価するメカニズムを持たない。そのため、より効果的な圧縮のためには、モデル全体の挙動になるべく影響しないように、各層の圧縮率を調整する手法が必要であった。そこで、Pruning Ratio Optimizer（PRO）を提案した。既に実装、評価実験については完了しており、対外発表の準備を行なっている。
ResNet直列化手法の開発：この研究テーマは当初の研究計画には入っていないが、研究を進める中で必要性に気づき、取り組んだテーマである。ResNetという、分岐構造をもつDNNモデルがあり、コンピュータヴィジョンの分野では頻繁に用いられている。ResNetは、その分岐構造ゆえにプルーニング手法が適用しにくいという問題がある。そこでResNetを直列化してからプルーニングする方法である、Serialized Residual Network（SRN）を提案した。実装、評価実験は一通り完了しており、対外発表を行なった。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
概ね研究計画通りに進めることができており、期待通り研究が進展した。
①プルーニング手法Neuro-Unification（NU）の提案 → 論文執筆まで完了
②プルーニング手法Reconstruction Error Aware Pruning（REAP）の提案 → 論文執筆まで完了
③圧縮率最適化手法Pruning Ratio Optimizer（PRO）の提案 → 実装・評価実験を完了、対外発表の準備中
④上記手法のツール化 → 取り組み中
|
| Strategy for Future Research Activity |
・PROの研究成果について発表すること。
・研究成果の社会還元。具体的には、ユーザが圧縮して使いたいモデルがある場合に、提案手法（REAP・PRO・SRN）を用いて容易に圧縮が行えるようなツールを開発すること。また、そのために、与えられたモデルに対して構文解析を実行し、直列化・圧縮対象の層を特定する機能を実装すること。
|
Research Products
(4 results)
