研究課題/領域番号 |
21K17768
|
研究機関 | 東京理科大学 |
研究代表者 |
前田 慶博 東京理科大学, 工学部電気工学科, 助教 (80843375)
|
研究期間 (年度) |
2021-04-01 – 2024-03-31
|
キーワード | 深層学習 / 計算機アーキテクチャ / 高能率計算 / ハードウェアアクセラレーション |
研究実績の概要 |
Deep neural network(DNN)技術は,様々な研究領域や産業界における基盤技術として地位を確立しつつあり,社会的な期待も大きい.DNNでは,学習という過程を必要とするが,これには多大な計算リソースを用いても膨大な計算時間を必要とする.そこで,本研究課題では,DNNの学習過程の高速化を実現する基盤構築を目的とする.これを実現するために,計算量削減などのアルゴリズムの観点と専用演算器の有効活用などの計算機アーキテクチャの観点に着目し,それぞれの観点を協調させることによって高速化を実現し,体系立てた基盤を構築することを目指す. 本年度は,適切なデータレイアウトとメモリ使用量の削減と入力データの前処理の高速化を検討した.前者では,DNNアーキテクチャの軽量化技術である,プルーニングに関して検証を行った.近年のDNNは,ネットワークアーキテクチャの高度化に伴い,複雑度も上がってきている.これに対する改善策である,プルーニングは,DNNの各レイヤが持つ重みを枝刈りすることで,DNNモデルの軽量化を実現する.本研究課題では,より効率的なプルーニングを実現するために,周波数領域での特徴を活用した手法を検討した.また,後者では,DNNの入力への前処理で使用されるような画像フィルタリング処理の高速化手法について検討した.
|
現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
当該年度に実施予定であった,DNNの適切なデータレイアウトとメモリ使用量の削減について検討を実施した.また,この他に,DNNの入力の前処理で使用されるフィルタリングなどの高速化も実現した.以上の通り,概ね計画通りに進展している.
|
今後の研究の推進方策 |
次年度では,誤差逆伝搬法などのアルゴリズムに対して,計算機アーキテクチャの観点から計算順序やキャッシュ効率の改善を検討する.そして,それを様々なDNNアーキテクチャに対して,検討を行う予定である.
|
次年度使用額が生じた理由 |
調査のために必要な機材であるGPUの確保が需要増大に伴い遅れたためである.現在はGPUを入手することが可能になっており,次年度では,これの費用とする予定である.
|