Acceleration framework for training deep learning by cooperative with algorithms and computer architectures
| Project/Area Number |
21K17768
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Tokyo University of Science |
|---|
Principal Investigator |
前田 慶博 東京理科大学, 工学部電気工学科, 講師 (80843375)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2022: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
|
|---|
| Keywords | 深層学習 / 計算機アーキテクチャ / 高能率計算 / ハードウェアアクセラレーション / 高速化 |
|---|
| Outline of Research at the Start |
本研究課題では，深層学習の学習過程の高速化を実現する基盤構築を目的とする．深層学習は，社会的基盤となりつつあるが，学習過程に多大な計算リソースと計算時間を必要とする．この計算リソースと計算時間の削減するために，計算量削減などのアルゴリズムの観点と専用演算器の有効活用などの計算機アーキテクチャの観点に着目する．これらの観点は，不可分な関係を持っている．本研究では，それぞれの観点を協調させることによって高速化を実現し，体系立てた基盤を構築することを目指す．
|
| Outline of Annual Research Achievements |
Deep neural network（DNN）技術は，様々な研究領域や産業界における基盤技術として地位を確立しつつあり，社会的な期待も大きい．本研究課題では，DNNの学習過程の高速化を実現する基盤構築を目的とする．これを実現するために，計算量削減などのアルゴリズムの観点と専用演算器の有効活用などの計算機アーキテクチャの観点に着目し，それぞれの観点を協調させることによって高速化を実現し，体系立てた基盤を構築することを目指す．
本研究課題では，上記の目標を達成するために，プルーニングと量子化に着目したDNNモデルの軽量化手法，またそれに並行して入力データの前処理の高速化について検討した．プルーニングは，DNNの各レイヤが持つ重みを枝刈りすることで，DNNモデルの軽量化を実現する技術である．また，量子化は，重みなどのパラメータをより低精度・低bitな数値型で保持することによるDNNモデルの軽量化技術である．本研究課題では，より効率的なプルーニングを実現するために，計算機アーキテクチャにおける専用演算器を有効に活用可能有効に活用可能な周波数領域での特徴を活用した手法を提案した．そして，学習後にプルーニングを行うPruning after training（PaT）と学習前にプルーニングを行うPruning as Initialization（PaI）の二つのアプローチを統合した，プルーニング手法を提案した．また，量子化に関しては，DNNモデルの持つ重みの分布に従い，適切な量子化を実現する手法に関する検討を検討した．これでは，量子化において実際の重み分布を活用することで高精度な量子化を実現した．この他，DNNの入力への前処理で使用されるような画像フィルタリング処理の高速化手法について検討した．
|
Report
(3 results)
Research Products
(31 results)
