ディープニューラルネットワークモデルの高速化および省メモリ化
| Project/Area Number |
20J15177
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Single-year Grants |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 60100:Computational science-related
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
菅間 幸司 和歌山大学, システム工学部, 特別研究員(PD)
|
|---|
| Project Period (FY) |
2020-04-24 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥1,700,000 (Direct Cost: ¥1,700,000)
Fiscal Year 2021: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2020: ¥900,000 (Direct Cost: ¥900,000)
|
|---|
| Keywords | DNNモデル圧縮 / プルーニング / NU / REAP / PRO / SRN |
|---|
| Outline of Research at the Start |
畳み込みニューラルネットワーク(Convolutional Neural Network、CNN)はコンピュータビジョンの諸分野で活用されている数理モデルである。CNNモデルは膨大な数のパラメータを持ち、推論時には大規模な計算がなされるため、組み込み系で使うことができない。本研究では、訓練済みのCNNモデルの性能を維持しつつパラメータを削減し、モデルサイズと計算量を落とす手法を開発することを目指す。
|
| Outline of Annual Research Achievements |
・前年度は深層学習モデルを各層での誤差が最小化されるように圧縮するための手法である，Reconstruction Error Aware Pruning（REAP）を提案した．当該年度は，これをさらに効果的に活用するために，モデルの最終層への影響を評価して各層の圧縮率を最適化するための手法であるPruning Ratio Optimizer（PRO）を，前年度から引き続き開発した．成果は論文誌へ発表済みである．
・また，枝分かれ構造を持つResNetという深層学習モデルを効率的に圧縮するために，等価な直列構造に変換する手法の開発を，前年度に引き続き開発した．ResNetでは，枝分かれのある層において圧縮を行うことができないため，枝分かれがない層のみを集中的に圧縮する必要があった．これを直列化すると，モデルサイズは一旦は大きくなるが，全ての層でバランスよく圧縮を行えるようになる．そのため，結果的にはモデルの精度をより良く保ちつつ，そのサイズを小さくできるというものである．現在は，この手法により直列化されたモデルを上記のPROと組み合わせると，結果が不安定になるという問題が生じており，その原因究明と改善に取り組んでいる．
・提案手法を使う際には，深層学習モデルのどの層を圧縮の対象とするかを指定する必要がある．その手間を省くために，モデルを入力として与えると圧縮対象となる層を自動的に判別するプログラムを開発した．現在，上記の提案手法群と併せ，対外発表の準備を進めている．
|
| Research Progress Status |
令和3年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和3年度が最終年度であるため、記入しない。
|
Report
(2 results)
Research Products
(6 results)
