Production of Memory-Bandwidth-Centric Computing

Research Project

Project/Area Number	23K18461
Research Category	Grant-in-Aid for Challenging Research (Exploratory)
Allocation Type	Multi-year Fund
Review Section	Medium-sized Section 60:Information science, computer engineering, and related fields
Research Institution	The University of Electro-Communications
Principal Investigator	三輪忍電気通信大学, 大学院情報理工学研究科, 准教授 (90402940)
Co-Investigator(Kenkyū-buntansha)	塩谷亮太東京大学, 大学院情報理工学系研究科, 准教授 (10619191)
Project Period (FY)	2023-06-30 – 2026-03-31
Project Status	Granted (Fiscal Year 2023)
Budget Amount *help	¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000) Fiscal Year 2025: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000) Fiscal Year 2024: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000) Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywords	高帯域幅メモリ / プロセッサアーキテクチャ / コンパイラ
Outline of Research at the Start	本研究課題では，高帯域幅メモリの利用を前提とした新たな計算方式であるメモリ帯域幅セントリックコンピューティングを開発する．メモリ帯域幅セントリックコンピューティングでは，1)メモリアクセスデータの粗粒度化と2)メモリレベル並列性の向上を目指し，ハードウエアとソフトウェアのコデザインによってレイテンシ依存の処理を帯域幅依存の処理へと転換する．具体的には，プログラムを数百Bから1KB程度のデータ（μデータ）に対する処理（μメソッド）に分割して実行する方式を開発する．μメソッドの依存解析やスケジューリングはシステムソフトウェアが行い，μデータのプリロード/ポストストアをハードウェアが行う予定である．
Outline of Annual Research Achievements	メモリ帯域幅セントリックコンピューティングの実現に向けて，本年度は以下の研究内容を実施した．まず，HBMを有するサーバ系CPU上で動作する種々のアプリケーションの性能分析を行った．HPC系CPUではHBMの豊富なメモリ帯域幅を活用するために256Bを超える巨大なサイズのキャッシュブロックが利用されているが，サーバ系CPUにおいてこのような大きなサイズのキャッシュブロックを利用することの特質利害は明らかになっていない．特に，命令/データの各プリフェッチャは，汎用CPUのキャッシュブロックサイズが長年64Bで固定されてきたことから64Bのキャッシュブロックを前提として進化してきたという歴史的経緯があり，最新の命令/データプリフェッチャが64Bを超えるブロックサイズのキャッシュでは有効に機能しない可能性がある．そこでキャッシュのブロックサイズとプリフェッチャの性能について網羅的な性能評価を行った．評価の結果，既存のデータプリフェッチャはブロックサイズが1,024Bを超えると効果がほとんどないことがわかった．また，キャッシュのブロックサイズが増加するにつれて多くのアプリケーションは性能が向上するものの，ブロックサイズの増加にともない性能向上率は低減すること，そして，ブロック内で実際に参照されるデータの割合は低下することがわかった．上記の問題に対して，新たなアーキテクチャである可変長ブロックキャッシュを提案した．可変長ブロックキャッシュでは，ハードウェアが最適なブロックサイズを自動的に選択してデータを格納することにより，キャッシュの利用効率の向上を図る．シミュレーションによる評価の結果，提案手法は一部のアプリケーションプログラムにおいて3割近い性能向上が得られることを確認した．
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 研究計画段階ではメモリアーキテクチャとコード生成方式の開発を予定していたが，それぞれの開発を行うにあたり基礎データの収集・分析を行う必要性が生じたことから，初年度はHBMを有するCPU（特にキャッシュとプリフェッチャ）の性能分析を重点的に行った．当初の計画にはない性能分析を実施したものの，メモリアーキテクチャ開発に関しては可変長ブロックキャッシュの提案・実装・評価に至っており，研究は概ね順調に進展していると言える．初年度に着手できなかったコード生成方式の開発は次年度に着手する予定である．
Strategy for Future Research Activity	アーキテクチャ開発に関しては，今年度に開発した可変長ブロックキャッシュの改良を行う．特に，ブロックサイズの制御方式を抜本的に見直すことにより，可変長ブロックキャッシュの効果が見られないアプリケーションの性能向上を図る．また，性能以外のメトリクス（消費電力，面積等）についても可変長ブロックキャッシュの評価を行い，研究成果を論文にまとめて国際会議等に投稿する予定である．さらに，可変長ブロックキャッシュの効果を最大化するためのコアアーキテクチャについても検討を開始する．システムソフトウェア開発に関しては，HBMを有するCPUの性能を最大化するアプリケーションコードの生成法を開発する．まずは特定のアプリケーションを対象に手動で種々のコード変換を行うことで，HBMの利用効率最大化に必要なコードの要件を明らかにする．そして，与えられたアプリケーションコードから上記の要件を満たすコードに自動変換するコード生成器を開発する．その際，キャッシュのブロックサイズをプログラムコード内でユーザが陽に指定できる仕組みを用意した上で，コンパイラによってブロックサイズを動的に変更することも想定する．上記のコード生成器はLLVMを利用して開発する予定である．