Fused-layer neural network accelerators with reduced on-chip memories

2021 Fiscal Year Final Research Report

• Project/Area Number: 19K11885
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60040:Computer system-related
• Research Institution: Tokyo City University
• Principal Investigator: Kenshu Seto 東京都市大学, 理工学部, 講師 (10420241)
• Project Period (FY): 2019-04-01 – 2022-03-31
• Keywords: ニューラルネットワーク / アクセラレータ / オンチップメモリ削減 / 高位合成

Outline of Final Research Achievements

Fused-layer neural network accelerators, which execute multiple layers in parallel, reduce off-chip memory accesses by storing intermediate results in on-chip memories. As a result, we expect reduced energy consumption for fused-layer neural network accelerators. In this research, we successfully developed loop and memory access optimizations which are effective for developing fused-layer neural network accelerators. For the memory access optimization, we extended the scalar replacement, which is useful for automatic line buffer generation, so that it can handle multiple write accesses.

Free Research Field

高位合成、並列化コンパイラ、ハードウェア・ソフトウェア協調設計、VLSI設計技術

Academic Significance and Societal Importance of the Research Achievements

AIの基盤となるニューラルネットワークを効率良く実行するハードウェアが求められており、融合型ニューラルネットワークアクセラレータに着目した。アクセラレータを短期間に設計するには、プログラムからハードウェアを自動生成できる高位合成の活用が効果的だが、高効率なハードウェア生成には、人手によるコード最適化が必要になり、設計期間の長期化が問題となっていた。重要なコード最適化の一つとして、スカラリプレイスと呼ばれるメモリ最適化があり、これを融合型ニューラルネットワークに適用できるよう、世界初の拡張に成功した。研究成果の活用により、迅速な高効率ニューラルネットワークアクセラレータの設計に寄与できる。