2022 Fiscal Year Research-status Report
Acceleration framework for training deep learning by cooperative with algorithms and computer architectures
| Project/Area Number |
21K17768
|
|---|
| Research Institution | Tokyo University of Science |
|---|
Principal Investigator |
前田 慶博 東京理科大学, 工学部電気工学科, 助教 (80843375)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 深層学習 / 計算機アーキテクチャ / ハードウェアアクセラレーション |
|---|
| Outline of Annual Research Achievements |
Deep neural network（DNN）技術は，様々な研究領域や産業界における基盤技術として地位を確立しつつあり，社会的な期待も大きい．本研究課題では，DNNの学習過程の高速化を実現する基盤構築を目的とする．これを実現するために，計算量削減などのアルゴリズムの観点と専用演算器の有効活用などの計算機アーキテクチャの観点に着目し，それぞれの観点を協調させることによって高速化を実現し，体系立てた基盤を構築することを目指す．
本年度は，プルーニングと量子化に着目したDNNモデルの軽量化手法，またそれに並行して入力データの前処理の高速化を検討した．プルーニングは，DNNの各レイヤが持つ重みを枝刈りすることで，DNNモデルの軽量化を実現する技術である．また，量子化は，重みなどのパラメータをより低精度・低bitな数値型で保持することによるDNNモデルの軽量化技術である．本研究課題では，より効率的なプルーニングを実現するために，前年度に引き続き，周波数領域での特徴を活用した手法を検討した．また，量子化に関しては，DNNモデルの持つ重みの分布に従い，適切な量子化を実現する手法に関する検討を実施した．この他，DNNの入力への前処理で使用されるような画像フィルタリング処理の高速化手法について検討した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
DNNの学習を効率的に行うための，周波数領域での特徴を活用したプルーニング手法を実現した．また，DNNモデルの持つ重みの分布に従い，適切な量子化を実現する手法に関する検討を実施した．また，この他に，DNNの入力の前処理で使用されるフィルタリングなどの高速化も実現した．以上の通り，概ね計画通りに進展している．
|
| Strategy for Future Research Activity |
次年度では，計算機アーキテクチャの観点で重要である計算順序やキャッシュ効率を考慮したDNNアーキテクチャの高速化の検討を行う．そして，それを様々なDNNアーキテクチャに対して，検討を行う予定である．
|
| Causes of Carryover |
必要な機材であるGPUの確保が需要増大に伴い遅れたためである．現在はGPUの調達の目処がたっており，次年度では，これの費用とする予定である．
|
