Multi-Layer In-Memory Computing and Its Application for GNNs

2023 Fiscal Year Final Research Report

• Project/Area Number: 22K21284
• Research Category: Grant-in-Aid for Research Activity Start-up
• Allocation Type: Multi-year Fund
• Review Section: 1001:Information science, computer engineering, and related fields
• Research Institution: Tokyo Institute of Technology (2023); Keio University (2022)
• Principal Investigator: Fujiki Daichi 東京工業大学, 科学技術創成研究院, 准教授 (60963254)
• Project Period (FY): 2022-08-31 – 2024-03-31
• Keywords: 計算機アーキテクチャ / インメモリ計算 / メモリアーキテクチャ / キャッシュ

Outline of Final Research Achievements

This research addressed architectural challenges in multi-layer in-memory computing (MLIMP) systems. To actively leverage the trade-offs between heterogeneous memories in the memory hierarchy, we devised task scheduling and performance prediction methods targeting machine learning workloads such as GNN and data-parallel workloads.

Furthermore, we discovered the potential of MLIMP to solve locality utilization issues in memory-centric computing. We achieved memory access locality exploitation, which was difficult in single-level in-memory computing systems, by utilizing multi-layer in-memory computing that leverages performance tradeoffs between memory hierarchies. We introduced the concept of "view" to guarantee input/output coherence and defined a cache coherence protocol extension to enable view reuse.

Free Research Field

計算機アーキテクチャ

Academic Significance and Societal Importance of the Research Achievements

本研究の学術的意義は、複数階層インメモリコンピューティングという新しい計算機アーキテクチャの提案と、その上で機械学習やデータ並列処理を効率化するスケジューリング・性能予測手法を提案した点にある。また、コヒーレンスに関する課題を新たに発見し、有用なプロトコル拡張を定義したことは高く評価されている。

社会的意義としては、本研究の成果がGNNなどのデータインテンシブな計算の高速化に繋がり、創薬や金融分野におけるシミュレーションの効率化に貢献できる点が挙げられる。また、インメモリコンピューティングの汎用化は、将来的に様々な計算処理の高速化に繋がり、省エネルギーな社会の実現にも貢献する可能性がある。