2021 Fiscal Year Research-status Report
In-Storage Accelerator Architectures for Large-Scale Sparse Matrix Processing
| Project/Area Number |
21K17720
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
CHU ThiemVan 東京工業大学, 科学技術創成研究院, 助教 (80838235)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 疎行列処理 / アクセラレータ / インストレージコンピューティング |
|---|
| Outline of Annual Research Achievements |
疎行列処理に関する包括的なアーキテクチャの実現を目指して，昨年度は，疎行列関連の主な基本演算である，疎行列と疎行列の積（SpMM）の効率的な処理アーキテクチャの研究開発に取り組んだ．
疎行列処理では，処理データフローが全体のアーキテクチャ設計，達成できる効率に大きな影響を及ぼす．SpMMの基本的な処理データフローとして，inner product, outer product, row/column-wise productが挙げられる．Inner productでは，入力行列を繰り返し何度も読み込む必要があり，インデックスがマッチしている要素同士のみの乗算を行うため，メモリアクセス量が膨大になるわりに，無効なものが多い．この問題は，入力行列の密度が低ければ低いほど深刻となる．そこで，本研究は，疎行列により相性が良いouter productとrow/column-wise productをベースに効率的な処理データフローとその特徴に合った，効率的なデータフェッチ機構を有するアーキテクチャを考案している．
提案の疎行列処理アーキテクチャを評価するために，機能レベルのシミュレータ及びサイクルアキュレートシミュレータを開発し，基盤の構築を行っている．考案中のSpMM処理アーキテクチャの初期評価では，全体の性能や消費電力に大きく影響する外部メモリアクセス量に着目して，最先端のSpMM処理アーキテクチャの代表的なものであるSpArchと比較を行った．その結果，同等程度の回路規模を仮定した時に，SpArchが効率的に処理することが可能なdensity率（非ゼロ要素の密度）が10e－5程度のスーパースパース行列に対して平均約1.8倍，それよりも少し密な10e－2程度のdensity率のスパース行列に対しては平均約5.9倍程度外部メモリアクセス量を減らすことが確認できている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
疎行列処理に関する包括的なアーキテクチャの実現に向けて，疎行列関連の主な基本演算である，疎行列と疎行列の積（SpMM）の高効率処理データフロー，データフェッチ機構，全体のアーキテクチャを考案して，機能レベルのシミュレータやサイクルアキュレートシミュレータ等の研究基盤を開発した．提案アーキテクチャの評価の第一ステップとして，全体の性能や消費電力に大きく影響する外部メモリアクセス量に着目し，広範囲のベンチマークを用いてSpArchという最先端アーキテクチャの代表的なものと比較した．その結果，同等程度の回路規模を仮定した時に，SpArchが効率的に処理することが可能なdensity率（非ゼロ要素の密度）が10e－5程度のスーパースパース行列に対して平均約1.8倍，それよりも少し密な10e－2程度のdensity率のスパース行列に対しては平均約5.9倍程度外部メモリアクセス量を減らすことができた，という有望な結果が確認できている．外部メモリアクセス量は本研究が目指しているインストレージ処理アーキテクチャにおいて特に重要な要素なので，得られた成果は極めて有意義である．
|
| Strategy for Future Research Activity |
昨年度の疎行列と疎行列の積（SpMM）に関する研究成果をまとめて，国際会議に論文を投稿するための作業を進めている．具体的には，外部メモリアクセス量に加えて，実行性能や回路規模，消費電力の定量的な評価を行っている．更に，シミュレーションだけではなく，FPGA等の実機で提案アーキテクチャを動かして，最適化をする予定である．
また，SpMMに着目しながら，疎行列と密ベクトルの積（SpMV），疎行列転置（SpMT）という疎行列関連の他の主な基本演算への対応と拡張に取り組んでいく．提案のouter product，row/column-wise productベースのSpMM処理アーキテクチャの基本的な処理カーネルは乗算，累和，マージであり，これらのカーネルでSpMV，SpMTも効率的に実現できることを発見した．これを踏まえ，SpMM，SpMV，SpMTのいずれも処理できる包括的なアーキテクチャの研究に取り組んでいく計画をしている．
|
| Causes of Carryover |
新型コロナウイルスの影響により旅費が発生しなかった．代わりに物品購入や国際会議リモート参加費に使用したが，まだ9,952円が残っていた．こちらは次年度の物品購入に使用することを計画している．
|
