| 研究課題/領域番号 |
20J15177
|
|---|
| 研究機関 | 和歌山大学 |
|---|
研究代表者 |
菅間 幸司 和歌山大学, システム工学研究科, 特別研究員(DC2)
|
|---|
| 研究期間 (年度) |
2020-04-24 – 2022-03-31
|
| キーワード | プルーニング / NU / REAP / PRO / SRN |
|---|
| 研究実績の概要 |
プルーニング手法の開発：Deep Neural Network（DNN）モデルを圧縮するための技術であるプルーニング手法を新たに開発することを目指し、Neuro-Unification（NU）およびその発展形であるReconstruction Error Aware Pruning（REAP）を提案した。それぞれについて、実装・評価実験を行い，その結果を論文にまとめた。これらは既に２０２０年度の論文誌に掲載されている。また、REAPに関して国内の研究会において発表を行なった。
圧縮率最適化手法の開発：REAPはDNNの層ごとの誤差が最小化されるように圧縮を行う手法であり、モデル全体の挙動への影響を評価するメカニズムを持たない。そのため、より効果的な圧縮のためには、モデル全体の挙動になるべく影響しないように、各層の圧縮率を調整する手法が必要であった。そこで、Pruning Ratio Optimizer（PRO）を提案した。既に実装、評価実験については完了しており、対外発表の準備を行なっている。
ResNet直列化手法の開発：この研究テーマは当初の研究計画には入っていないが、研究を進める中で必要性に気づき、取り組んだテーマである。ResNetという、分岐構造をもつDNNモデルがあり、コンピュータヴィジョンの分野では頻繁に用いられている。ResNetは、その分岐構造ゆえにプルーニング手法が適用しにくいという問題がある。そこでResNetを直列化してからプルーニングする方法である、Serialized Residual Network（SRN）を提案した。実装、評価実験は一通り完了しており、対外発表を行なった。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
概ね研究計画通りに進めることができており、期待通り研究が進展した。
①プルーニング手法Neuro-Unification（NU）の提案 → 論文執筆まで完了
②プルーニング手法Reconstruction Error Aware Pruning（REAP）の提案 → 論文執筆まで完了
③圧縮率最適化手法Pruning Ratio Optimizer（PRO）の提案 → 実装・評価実験を完了、対外発表の準備中
④上記手法のツール化 → 取り組み中
|
| 今後の研究の推進方策 |
・PROの研究成果について発表すること。
・研究成果の社会還元。具体的には、ユーザが圧縮して使いたいモデルがある場合に、提案手法（REAP・PRO・SRN）を用いて容易に圧縮が行えるようなツールを開発すること。また、そのために、与えられたモデルに対して構文解析を実行し、直列化・圧縮対象の層を特定する機能を実装すること。
|
