2018 Fiscal Year Annual Research Report

Development of next generation continuous readout DAQ for the ALICE GEM-TPC

Research Project

Project/Area Number	17H02903
Research Institution	Nagasaki Institute of Applied Science
Principal Investigator	大山健長崎総合科学大学, 工学研究科, 教授 (10749047)
Co-Investigator(Kenkyū-buntansha)	郡司卓東京大学, 大学院理学系研究科(理学部), 准教授 (10451832)
Project Period (FY)	2017-04-01 – 2020-03-31
Keywords	原子核実験 / 重イオン衝突実験 / データ収集系 / FPGA / HPC
Outline of Annual Research Achievements	CERN-LHCのALICE国際共同実験では、第三期高輝度LHC実験に向けて検出器及びデータ収集系の大幅な高度化を推めている。主要粒子飛跡測定装置であるTPCでは、ワイヤ増幅をGEM増幅機構に入れ替え、連続読出し型TPCの実現を目指している。新型TPCが吐き出すデータは3TB/sを超え、この大容量データを高速に処理・圧縮する技術の開発が大きな課題である。そのために我々は新しい超高密度高帯域データ収集システムの開発を目的とし、必要な要素技術の開発・実装を行った。本研究が目指すシステムは、大規模FPGA、GPU、CPUを民生用PCI Express Gen3バスにより高速に結合した複合型計算システムである。FPGAは検出器データを広帯域で受けとめ、単純かつ大規模並列にそのデータに前処理を施す。本研究ではIntel/AlteraのArria10 FPGAを用い、FPGA一つあたり1600チャンネルのADC(10 bit,5MHz)データを即時処理する。FPGAで処理されたデータは、後段のGPU・CPUでさらに処理され、最終的にはトラック情報にまで圧縮される。本研究は特に、このシステムの最前に位置するFPGAによるデジタル信号処理に焦点をあてた。2017年度に引続き、国内外機関によるプロジェクトチームを率い、VHDLにて必要な信号処理モジュールの開発を行った。FPGAに搭載するモジュールは複数あり、そのなかでもルーティング・データソートモジュール、電子クラスタ識別モジュール、コモン・モード除去モジュールが大型且つ重要なものであるが、それらの開発をほぼ完了した。また、開発した全てのモジュールを、一つのFPGAファームウェアにまとめる作業も行い、第一バージョンのファームウェアを完成させた。これらのプロジェクトの概要・進捗状況を、日本物理学会(於:九州大学)にて報告を行った。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason デジタル信号処理アルゴリズムの実装と、ModelSimを用いた論理シミュレーションは、予定以上の速度で順調に進み、ほぼ完了した。ただし、物理シミュレーションによる疑似ADCデータをFPGAのシミュレーションに結合させて行うパフォーマンス評価は、依然として完全ではないため、次年度も引き続き行う必要がある。
Strategy for Future Research Activity	次年度は、これまで実装したデジタル信号処理モジュール及び周辺の細かなモジュールに至るまで実装を全て完了し、ほぼ最終版といえるファームウェアを完成させる予定である。また、本年度CRU(FPGAを搭載したPCI Expressボード)の入手が完了しているので、これをPCに組み込み、検出器のフロントエンド回路を接続し、開発したファームウェアにて動作確認とデバッグを行い安定動作につなげる。課題として、現状では主要なモジュールのFPGAリソース使用料が若干多く、ファームウェア全体で80％を超えてしまうため、スリム化を試みる必要がある。既にプロジェクト内で幾つかの解決案が提唱されているため、それらを実装して比較テストを行う。一方、FPGAに搭載したアルゴリズムを全てC++にて再記述し、これを検出器シミュレーションと組み合わせ、様々な衝突事象に対して問題が生じない事を確認する。特に、極度に粒子密度が高いイベントが連続する場合も想定した性能評価が重要とみている。さらに、CERNでの実際の実験においては360台のFPGAを大規模展開することとなるが、それらのFPGAのファームウェア・ダウンロードや数千を超えるパラメータの設定を、FPGAが担当するADCチャンネル(検出器上の位置)を基に自動的に実施する機構が必要となるため、この準備を行う。これはALICEのDCS(Detector Control System)の一部として実装する。これらの研究結果を本基盤研究の集大成としてまとめ、ALICE実験はもとより将来の実験計画においても応用が可能となるよう、結果をまとめ、国際学会等でも発表を行う予定である。