| 研究課題/領域番号 |
20J15177
|
|---|
| 研究種目 |
特別研究員奨励費
|
| 配分区分 | 補助金 |
|---|
| 応募区分 | 国内 |
|---|
| 審査区分 |
小区分60100:計算科学関連
|
|---|
| 研究機関 | 和歌山大学 |
|---|
研究代表者 |
菅間 幸司 和歌山大学, システム工学部, 特別研究員(PD)
|
|---|
| 研究期間 (年度) |
2020-04-24 – 2022-03-31
|
| 研究課題ステータス |
完了 (2021年度)
|
| 配分額 *注記 |
1,700千円 (直接経費: 1,700千円)
2021年度: 800千円 (直接経費: 800千円)
2020年度: 900千円 (直接経費: 900千円)
|
|---|
| キーワード | DNNモデル圧縮 / プルーニング / NU / REAP / PRO / SRN |
|---|
| 研究開始時の研究の概要 |
畳み込みニューラルネットワーク(Convolutional Neural Network、CNN)はコンピュータビジョンの諸分野で活用されている数理モデルである。CNNモデルは膨大な数のパラメータを持ち、推論時には大規模な計算がなされるため、組み込み系で使うことができない。本研究では、訓練済みのCNNモデルの性能を維持しつつパラメータを削減し、モデルサイズと計算量を落とす手法を開発することを目指す。
|
| 研究実績の概要 |
・前年度は深層学習モデルを各層での誤差が最小化されるように圧縮するための手法である，Reconstruction Error Aware Pruning（REAP）を提案した．当該年度は，これをさらに効果的に活用するために，モデルの最終層への影響を評価して各層の圧縮率を最適化するための手法であるPruning Ratio Optimizer（PRO）を，前年度から引き続き開発した．成果は論文誌へ発表済みである．
・また，枝分かれ構造を持つResNetという深層学習モデルを効率的に圧縮するために，等価な直列構造に変換する手法の開発を，前年度に引き続き開発した．ResNetでは，枝分かれのある層において圧縮を行うことができないため，枝分かれがない層のみを集中的に圧縮する必要があった．これを直列化すると，モデルサイズは一旦は大きくなるが，全ての層でバランスよく圧縮を行えるようになる．そのため，結果的にはモデルの精度をより良く保ちつつ，そのサイズを小さくできるというものである．現在は，この手法により直列化されたモデルを上記のPROと組み合わせると，結果が不安定になるという問題が生じており，その原因究明と改善に取り組んでいる．
・提案手法を使う際には，深層学習モデルのどの層を圧縮の対象とするかを指定する必要がある．その手間を省くために，モデルを入力として与えると圧縮対象となる層を自動的に判別するプログラムを開発した．現在，上記の提案手法群と併せ，対外発表の準備を進めている．
|
| 現在までの達成度 (段落) |
令和3年度が最終年度であるため、記入しない。
|
| 今後の研究の推進方策 |
令和3年度が最終年度であるため、記入しない。
|
