Automatic synthesis of memory access optimization programs synergistically coordinated with deep learning and empirical methods

2022 Fiscal Year Final Research Report

• Project/Area Number: 19K11874
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60040:Computer system-related
• Research Institution: Toyohashi University of Technology
• Principal Investigator: Sato Yukinori 豊橋技術科学大学, 工学(系)研究科(研究院), 准教授 (30452113)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: メモリアクセス最適化 / 性能モデル / ハード・ソフト協調設計 / 深層学習と経験的手法 / プログラム自動合成

Outline of Final Research Achievements

Toward automatic synthesis of memory access optimization programs, we tackled with synergistically coordinated with deep learning and empirical methods. For the deep learning part, we investigated optimization methods that exploit graph neural networks to smoothly cooperate with code optimization techniques for executable code. From the results of prototype implementation, we obtained some insights for further research. For the empirical method part, we investigated on the Polyhedral model and a cache simulator as a performance model against systems with complex memory hierarchy. From the results of evaluation, we demonstrated that our techniques developed in this work can be applied to a productive performance profiling tool and a simulator that assesses the memory reliability of systems.

Free Research Field

計算機システム

Academic Significance and Societal Importance of the Research Achievements

近年の深層学習技術の進展は目覚ましい反面、これらの成果を社会に幅広く展開するためには性能・電力・コストの面で最適化された深層学習処理向けのシステムアーキテクチャを探求していくことが急務である。このような状況の下、ハード・ソフトにまたがる広大なアーキテクチャ設計空間に対して最適化を行う機構の自動合成を目指すのが本研究の目的であった。プログラマによる手作業では手に負えなくなる規模の複雑かつ明示的で緻密な場合分けが必要となる最適化であっても、経験的手法を性能モデルと連携する形で拡張させていくことにより自動化できる可能性が示された。