Component development for ultimate high band-width data acquisition system for future nuclear and high-energy experiments

2017 Fiscal Year Research-status Report

• Project/Area Number: 17K18783
• Research Institution: Nagasaki Institute of Applied Science
• Principal Investigator: 田中 義人 長崎総合科学大学, 工学(系)研究科(研究院), 教授 (30269089)
• Project Period (FY): 2017-06-30 – 2019-03-31
• Keywords: データ収集システム / DAQ / FPGA / GPUコンピューティング

Outline of Annual Research Achievements

CERN-LHCにおける高エネルギー原子核衝突実験ALICEは、第三期高輝度実験に向け検出器の大幅な高度化を進めている。我が国のJ-PARCにおいても大規模重イオン実験構想が控えている。これらの次世代実験では、従来を一桁上回るビーム強度の向上が見込まれ、より詳細な衝突事象の研究が可能となる。しかし、検出器のデータ量も莫大なものとなり、従来のように、全実験データを一旦蓄積し後日解析する事は最早不可能となる。そこで本研究では、実験データをオンラインで高度に処理する広帯域データ処理システムの実現に向け、必須となる要素技術の開発を開始した。
本システムでは、FPGAとGP-GPUおよびCPUといった異種の処理装置を融合させ、ノードあたり～200 Gbpsのデータ処理能力を目指す。最近のFPGAは多くの高速SERDESを有し、検出器データを直接受信し、比較的単純なフィルタ処理を行うのに最適である。FPGAで処理されたデータを、高速バスによりGPU および CPU に転送し、より複雑な解析、例えばトラッキング処理を行うのが、本システムの基本構想となる。
平成29年度は、この要素開発のための物品調達、環境整備、FPGAによるデジタル信号処理アルゴリズムの設計を中心に進めた。ALICE実験に参加し、参照データの取得、データ解析の実態調査等を行い、システムの設計に反映させた。物品調達においては、ハイエンドFPGAボードとGPUを搭載可能な、高性能ラックマウント型計算機筐体をCERN側の開発者と共同で選定し、これを調達した。
また、2月に原子核実験以外の分野の研究者を招いて研究会「異種デバイス高速結合型高密度情報処理システムの展望」を開催した。本会議では琉球大学・長崎大学・東京大学・佐賀大学・原子力研究開発機構の情報処理および原子核実験研究者ら10名が参加し、異分野間での技術情報の交換に成功した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初は可能であればFPGAとGP-GPUの混載ボードを独自開発し、CPUを介さずにプロセッサ間超広帯域データ転送テストを実施する計画であった。しかし、様々な調査の結果、FPGAボードをPC筐体にインストールし、PCI Express Gen3を高速バスとしてテストを行い、その問題点等を洗い出した上で、混載ボードを開発するという、段階的開発を行ったほうが確実である、という判断に至った。特に、混載ボードの独自開発は予算的にも難しく、要素開発という本来の目的のためには必要不可欠ではないことがわかった。そこで、本研究では主に異種プロセッサ間のデータのやりとりやFPGAでのデジタルシグナル処理を如何に高速かつユーザーが使いやすい形で提供できるように作り上げるか、を追求することが要素開発として重要とみなし、この開発に専念することとした。特にデジタルシグナル処理のモジュール開発は順調に進んでおり、実際に将来のALICEでの使用に耐えうるものが完成しつつある。この点では大変順調に進展しているといえる。
FPGAボードに関しては、当初商用のものを探していたが、目的に合致する製品はないため、CERNとALICE共同体が検出器データ処理用に開発しているFPGAボード(Arria 10を搭載)が今回の目的に最も近いことが判明したため、この開発に参加し、製造も共同で行うこととした。
一方、独自混載ボードの製造を諦めたわけではなく、引き続きその設計に向けた準備を進めていく予定である。

Strategy for Future Research Activity

CERN・ALICEと共同開発しているFPGAボードの第二バージョンが平成30年に完成するので、これを一台入手し、昨年度調達した計算機筐体に組み込み、これまでに開発したデジタルシグナル処理モジュールを含むファームウェアを走らせ、データ転送等のテストとパフォーマンス評価を行う。その結果をふまえて、異種プロセッサ間のデータ通信とデータ処理の高速化・高効率化、すなわちノード一台あたりの処理能力の最大化を図る。
また、物理実験を行うユーザーが自由にそのシステム構成を変更し、複数種類のプロセッサのファームウェアおよびソフトウェアを統合的に開発できるよう、開発手法をも含めたシステムの検討を行っていく。
本研究では、PCI Express Gen3を異種デバイス間通信に用いるが、将来これを越えるデータ転送を如何にして実現するかを検討していく。民間では様々なプロジェクトが立ち上がっているが、これらの中に物理実験に応用できるものが果たしてあるのか、あるとしたらどのように組み込むのか、が鍵となると思われるので、注視しつつ、可能なものを要素開発実験に取り入れていく。

Causes of Carryover

予定では平成29年度終盤には、研究の中核を成すFPGAボードの生産・購入に入っていることになっていたが。FPGAボードの当初の設計では電源回路部分に不具合があることがわかり、生産会社側における設計段階からの修正の必要性があった。そのため予定を変更し、約半年遅らせることとなった。その後、回路の修正も終わり、無事生産開始することができた。順調にいけば平成30年度中ごろに完成し、購入出来る予定である。次年度使用額とした約79万円はこのFPGAボードの調達費の一部である。
平成30年度の請求予算とあわせて、FPGAボードを調達し、パフォーマンス測定とデバッギング・性能向上を目指す。特にデジタルフィルタの実装、および多数ノード展開時のコントロール技術について、今後CERNへの渡航もしつつALICE側と協議を重ねていく予定である。