2021 Fiscal Year Annual Research Report
Development of Deep Neural Network Accelerator Utilizing Approximate Computing
| Project/Area Number |
19H04079
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
劉 載勲 東京工業大学, 科学技術創成研究院, 准教授 (70726976)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
橋本 昌宜 京都大学, 情報学研究科, 教授 (80335207)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 深層学習 / アクセラレータ / NPU |
|---|
| Outline of Annual Research Achievements |
令和３年度は、重みを乱数初期化状態から更新せず、機能する部分ネットワークを抽出するためのスーパーマスクを学習し、タスクを遂行する隠れニューラルネットワーク[Ramanujan, CVPR2020]を基に、それに適したアーキテクチャを提案し、そのVLSI実装を行った。
Hiddeniteと命名した新たな深層ニューラルネットワークのアクセラレータは、既存アクセラレータのように重みを保持する必要がなく、疑似乱数生成器によって乱数シードから必要に応じて乱数重みを生成する。これにより大規模化するニューラルネットワークの膨大なメモリ要求を大幅に削減することに成功した。
またニューラルネットワークの演算において、複数の積和演算を因数分解し、複数加算と１回の乗算に置き換えることによって、演算処理に必要な回路規模と消費電力の要求を大幅に抑えている。これによりHiddeniteでは40nmの比較的古いプロセスを用いているにもかかわらず、3ミリ角の限られた回路面積上に4k個の処理要素を搭載できている。
さらにレイヤフュージョンにより、残差ブロックなどの複数層に跨るニューラルネットワーク処理を、領域毎に分割して複数層で対応する領域をまとめて処理することで、その処理に必要なメモリのワーキングスペースの要求を抑えている。
上記の成果により、HiddeniteはResNet50のような実用的なニューラルネットワークに対して、その処理に必要な外部メモリアクセスを93.4%削減する一方、コアの演算処理において最大34.8TOPS/Wの計算効率を達成している。Hiddeniteはその独創性と進歩性を認められ、一線級の国際会議であるISSCC2022に採択・発表されており、日経新聞や日系Roboticsなど複数メディアによってその成果を取り上げられた。
|
| Research Progress Status |
令和3年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和3年度が最終年度であるため、記入しない。
|
