2021 Fiscal Year Research-status Report
Acceleration framework for training deep learning by cooperative with algorithms and computer architectures
| Project/Area Number |
21K17768
|
|---|
| Research Institution | Tokyo University of Science |
|---|
Principal Investigator |
前田 慶博 東京理科大学, 工学部電気工学科, 助教 (80843375)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 深層学習 / 計算機アーキテクチャ / 高能率計算 / ハードウェアアクセラレーション |
|---|
| Outline of Annual Research Achievements |
Deep neural network（DNN）技術は，様々な研究領域や産業界における基盤技術として地位を確立しつつあり，社会的な期待も大きい．DNNでは，学習という過程を必要とするが，これには多大な計算リソースを用いても膨大な計算時間を必要とする．そこで，本研究課題では，DNNの学習過程の高速化を実現する基盤構築を目的とする．これを実現するために，計算量削減などのアルゴリズムの観点と専用演算器の有効活用などの計算機アーキテクチャの観点に着目し，それぞれの観点を協調させることによって高速化を実現し，体系立てた基盤を構築することを目指す．
本年度は，適切なデータレイアウトとメモリ使用量の削減と入力データの前処理の高速化を検討した．前者では，DNNアーキテクチャの軽量化技術である，プルーニングに関して検証を行った．近年のDNNは，ネットワークアーキテクチャの高度化に伴い，複雑度も上がってきている．これに対する改善策である，プルーニングは，DNNの各レイヤが持つ重みを枝刈りすることで，DNNモデルの軽量化を実現する．本研究課題では，より効率的なプルーニングを実現するために，周波数領域での特徴を活用した手法を検討した．また，後者では，DNNの入力への前処理で使用されるような画像フィルタリング処理の高速化手法について検討した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当該年度に実施予定であった，DNNの適切なデータレイアウトとメモリ使用量の削減について検討を実施した．また，この他に，DNNの入力の前処理で使用されるフィルタリングなどの高速化も実現した．以上の通り，概ね計画通りに進展している．
|
| Strategy for Future Research Activity |
次年度では，誤差逆伝搬法などのアルゴリズムに対して，計算機アーキテクチャの観点から計算順序やキャッシュ効率の改善を検討する．そして，それを様々なDNNアーキテクチャに対して，検討を行う予定である．
|
| Causes of Carryover |
調査のために必要な機材であるGPUの確保が需要増大に伴い遅れたためである．現在はGPUを入手することが可能になっており，次年度では，これの費用とする予定である．
|
