MPI、python、Fermi GPUを使用したトリガーシステムの構築

2011 Fiscal Year Annual Research Report

• Project/Area Number: 22340066
• Research Institution: High Energy Accelerator Research Organization
• Principal Investigator: 片山 伸彦 大学共同利用機関法人高エネルギー加速器研究機構, 素粒子原子核研究所, 教授 (50290854)
• Co-Investigator(Kenkyū-buntansha): 伊藤 領介 大学共同利用機関法人高エネルギー加速器研究機構, 素粒子原子核研究所, 准教授 (90193531)
• Keywords: データ通信エレクトロニクス / データ収集システム / 素粒子実験

Research Abstract

Belle II実験におけるPXDデータの読み出し設計として、もともとの研究計画ではPC上のPCI-expressカードでデータを受信し、当該カードはドイツグループが制作すると想定していた。しかし実験グループの方針によりPXDデータの読み出しはデータ受信用光トランシーバー・データサイズ削減用FPGA・およびデータ送出用ネットワークインターフェイス等を搭載した専用のハードウェアを用いて実装することが第一オプションとなった。そこで、平成23年度は、以降の研究年度で利用できるようなデータ受信用PCI-expressカードを制作した。本カードはデータ受信用光トランシーバースロット(2個)・データバッファ用4GBメモリ・データ送出用PCI-expressインターフェイス・光リンクやメモリおよびPCI-expressを制御するVirtex-6 FPGAを搭載している。このカードは、これを最低40枚用いることで、Belle II実験の設計最大値である30kHzのトリガーレートでかつ加工前の巨大なデータサイズを持ったPXDデータでも受信できるような帯域をもって設計されている。
他方、これと並行して実際のPXD読み出しを実現させる研究として、HLTが決定したPXDのregion of interest(Rol)情報を、PXD読み出し用の専用ハードウェアに帰還してハードウェア上でデータを破棄する機構の開発も行った。システムはHLTと専用ハードウェアをつなぐネットワークスイッチとPCからなる。まず電子-陽電子衝突ごとにPXDの(複数の)Rol情報を格納するパケットフレームを定義した。ついでこのフレームに基づいてPCによるデータ送信の帯域を見積もった結果、電子-陽電子衝突ごとの荷電粒子の本数が200本(実際の実験よりも1桁以上大きい非現実的な数字だが、RolとみなされないPXDヒットは永久に抹消されるので、少しでも荷電粒子の飛跡らしいものは記録するというconservativeな設計になっている)の場合でも、設計最大値を超える60kHzのトリガーレートで稼働することが証明された。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初計画と異なり、データ受信用PCI-expressカードを本研究の範囲で実施する事情となった。ハードウェア開発は通常長い時間を要するが、本カードの場合は、事前のプロトタイプを用いた研究と開発時の適切な仕様策定によってこれを着実に完成させるに至った。他方、現実のPXD読み出しを実現させるために必要なデータ破棄機構として、HLTとPXD読み出し専用ハードウェアの接続機構の開発と性能評価も進められている。以上から総合的に判断して、研究はおおむね順調に進捗していると評価できる。

Strategy for Future Research Activity

当面のPXD読み出しは、HLTによるRol検出とPXDデータ受信用専用ハードウェアの組み合せによる余分なデータの破棄機構を基盤とするので、今後の研究期間の(ごく)初期段階はHLTとPXDデータ受信用専用ハードウェアを接続するシステムに時間を費やす。しかしいずれ価格と保守性および汎用性に優れた「PCI-expressカードによるデータ受信とGPUを搭載したPCによるデータ破棄」に移行することも期待できる。そこで、今回制作したPCI-expressカードをPC上で稼働させ、性能を評価する研究も実施する。なお、本データ受信用PCI-expressカードは、光ファイバでデジタルデータを送信する測定器であればPXDのほかどんな測定器データの受信にも応用可能であることは特筆すべきで、GPUとの組み合せによって波形処理などのオンラインデータ処理が可能になることを考えると、Belle II実験のデータ読み出しシステム全体に適用可能な発展性も持っている。今後はこの方向性も探る。