2023 Fiscal Year Annual Research Report
Revolution of Programmability in Non-von Neumann Platforms by Employing Tandem CGRA + Stochastic Computing
| Project/Area Number |
22H00515
|
|---|
| Research Institution | Nara Institute of Science and Technology |
|---|
Principal Investigator |
中島 康彦 奈良先端科学技術大学院大学, 先端科学技術研究科, 教授 (00314170)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
ZHANG Renyuan 奈良先端科学技術大学院大学, 先端科学技術研究科, 准教授 (00709131)
木村 睦 奈良先端科学技術大学院大学, 先端科学技術研究科, 客員教授 (60368032)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | CGRA / マルチレベルパイプライン / 確率的デジタル演算 / スパイクコーディング / 確率的多入力積和演算 / 可変容量素子 |
|---|
| Outline of Annual Research Achievements |
【１】物理演算器数を超える長大命令列を仮想化により非分割連続実行するタンデムCGRA：本年度は、大規模FPGAボード（VPK180）を用いた、マクロパイプライニングの実装を推進した。まず、400G-QSFPDDケーブルにより、VPK180を4枚相互接続したシステムを構成し、安定稼働するに至った。さらに、1組のDDR4メモリ空間に対し、64ユニット構成のIMAX2が8基接続するマルチレーン構成の開発を完了し、CIFAR10等の画像認識プログラムが、マイクロパイプライニングとマクロパイプライニングを併用して、安定稼働するに至った。
【２】メモリ空間を拡張する確率的デジタル演算機構：従来型確率的積和演算機構では、累算処理に、時間軸方向のスパイク蓄積演算が不可欠であった。本研究の確率的多入力デジタル積和演算機構では、Flash Computing技術（全スパイク信号の同時かつ瞬間的な観測により、一度に累算結果を推定する方法）を用いて、高速化を図った。本年度は、確率的表現 Multi-Radix-Coding（MRC）を使用し、DiaNet3.1と組み合わせることで、本方式の実現を目指した。7nm CMOSのHspiceシミュレーションでは、乗算、有限状態マシンベースのSC近似、多項式展開にて、各々、29,58,83TOPS/Wを達成した。
【３】確率的表現と可変容量素子による確率的多入力積和演算機構：スパイクベース演算は、センサー出力を従来型デジタル演算器に渡すインタフェースとしての位置付けが適すると判断し、イベントカメラを購入した。現在、スパイクベース演算機構を用いて、Human Action Recognition(HAR)を実装中である。また、CMOSプロセスと容量素子(CTM)を用いた試作LSIが納品され、評価ボードに搭載し、基本多入力積和演算の正常動作を確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
当初の全体計画毎に列挙する。
【１】物理演算器数を超える長大命令列を仮想化により非分割連続実行するタンデムCGRA：CPUベースCGRA(IMAX2)の各ユニットとCPUをタンデム接続する低遅延仮想CGRAの実現に取り組む。本年度の目標は，3.カーネルの外側をRISCVが担当することによる,CGRAの容量を超えるプログラムに対するシームレスなCGRA制御。マクロパイプライニングが該当する３の完了を目指した結果、マクロパイプライニングを搭載したFPGAシステム、および、基本プログラミングフレームワークが完成した。さらに、当初は到達が難しいと考えていた、大規模言語モデルの実装に進んでいる。
【２】メモリ空間を拡張する確率的デジタル演算機構：疎行列圧縮表現と，確率的表現と，確率的計算を組み合わせ、多層畳み込みニューラルネットワーク，および，従来型アクセラレータでは対応できないアルゴリズムに対する確率的計算の適用可能性探索・必要精度探索・高速実装に取り組む。本年度の目標は、2.木構造型確率的積和演算手法。本年度の目標（２）を予定通り完了した。
【３】確率的表現と可変容量素子による確率的多入力積和演算機構：省電力近似計算のキーデバイスである強誘電体薄膜に着目する。デバイス試作・特性評価とアナログ回路シミュレーションを組み合わせて、多入力積和演算器に留まらない，グラフ探索問題等の様々なアプリケーションに応用可能なハードウェア構成方法と安定化手法の確立に取り組む。本年度の目標は、2.Hspiceに依存しないデバイスシミュレータであったものの、スパイクベース計算のポテンシャルが高いことがわかってきたため、デバイスモデルのシミュレーション環境ではなく、高次のスパイクベースシミュレーションに移行し、トランスフォーマ等の複雑かつ実用的アプリケーションの実装に向かうこととした。
|
| Strategy for Future Research Activity |
【１】初年度に、単一リング構造内でのタンデム実行（ミディアムパイプライン処理）が可能となった。２年度には、研究費繰越により、新たな大規模FPGAボード（VPK180）を購入し、最大８個の複数リングを接続して、異なるカーネルを同時に写像する仮想化方式（マクロパイプライニング処理）の開発を完了した。本年度は、これらを用いて、大規模言語モデル（LLM）が多用するトランスフォーマ、および、メモリ使用量を削減可能な、Flash Attentionの実装を推進する。
【２】初年度および２年度に、確率的積和演算機構の高速化を行った。本年度は、LLM等の大規模アプリケーションへの応用に挑戦する。
【３】容量素子とスパイク表現を組み合わせた、確率的多入力積和演算機構のプロトタイプLSIが完成している。本年度は、LSIの評価を行う。また、大規模アプリケーションへの応用を目指す、スパイキング・トランスフォーマの実装および評価を推進する。
|
