次世代ストレージアーキテクチャの研究

• Project/Area Number: 22H00509
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 60:Information science, computer engineering, and related fields
• Research Institution: University of Tsukuba
• Principal Investigator: 建部 修見 筑波大学, 計算科学研究センター, 教授 (70357432)
• Co-Investigator(Kenkyū-buntansha): 大辻 弘貴 富士通株式会社(富士通研究所), その他部局等, 研究員 (10870016)
• Project Period (FY): 2022-04-01 – 2027-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥42,120,000 (Direct Cost: ¥32,400,000、Indirect Cost: ¥9,720,000); Fiscal Year 2025: ¥6,760,000 (Direct Cost: ¥5,200,000、Indirect Cost: ¥1,560,000); Fiscal Year 2024: ¥11,180,000 (Direct Cost: ¥8,600,000、Indirect Cost: ¥2,580,000); Fiscal Year 2023: ¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000); Fiscal Year 2022: ¥11,050,000 (Direct Cost: ¥8,500,000、Indirect Cost: ¥2,550,000)
• Keywords: ストレージシステム / 並列I/O / 高性能システム

Outline of Research at the Start

スーパコンピュータの発展により演算性能が向上し多くの諸問題が解決されてきた。一方、ビッグデータサイエンス、AIをさらに進めるためにはストレージ性能が大きな問題となっている。ストレージに格納されたビッグデータを高速に処理するためにはストレージの入出力性能の向上が必須となるが、その性能向上が演算性能の向上に追い付いていないためである。本研究では、この問題を解決するため、不揮発性メモリを用いた次世代ストレージアーキテクチャの提案を行う。

Outline of Annual Research Achievements

本研究は、スーパコンピュータシステムにおける重要課題となっているストレージ性能問題を解決するため、不揮発性メモリを活用した新しいストレージシステムのアーキテクチャの研究を行うものである。2022年度においては、計算ノードの不揮発性メモリを有効活用する一時的な並列ストレージシステム（アドホックファイルシステム）の設計を行った。2023年度においては、そのアドホックファイルシステムに対する高度化の設計を実施した。アドホックファイルシステムは、スーパーコンピュータが通常用いる並列ファイルシステムと計算ノードの間に存在する高速なストレージであるが、並列ファイルシステムとアドホックファイルシステムの間のデータ移動は自動的にはなされない。このデータ移動はステージイン、ステージアウトと呼ばれるが、その処理が正しく行われないと読み込みたいデータが読み込めなかったり、書き込んだデータが並列ファイルシステムに書き込まれなくなる。一方で、この処理を自動化すると、既存のシステムではアドホックファイルシステムの性能が落ちてしまう問題があった。この問題について、アドホックファイルシステムと並列ファイルシステムの間の一貫性を、ユーザに分かりやすい範囲で緩和することにより解決を図った。成果は国際会議で発表した。また、データ解析、機械学習フレームワークにおいて、アドホックファイルシステムを利用するための研究を進めた。それらのフレームワークでは、データの入出力にApache Arrowが多く利用されており、Apache Arrowの拡張を行い問題解決を図った。成果については国際会議で発表した。

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

ストレージシステムの評価がスムーズに進み、データ移動を自動的に行うシステムの設計まで進めたため。

Strategy for Future Research Activity

データ移動を自動的に行うシステムの高度化を進めるとともに、さらに高度なストレージシステムの設計を進める。

Research Products

• [Journal Article] I/O-Aware Flushing for HPC Caching Filesystem (2023)
  • Author(s): Osamu Tatebe, Kohei Hiraga, Hiroki Ohtsuji
  • Journal Title: 2023 IEEE International Conference on Cluster Computing Workshops (CLUSTER Workshops) Volume: 1 Pages: 11-17
  • DOI: 10.1109/clusterworkshops61457.2023.00012
  • Peer Reviewed
• [Journal Article] Accelerating I/O in Distributed Data Processing Systems with Apache Arrow CHFS (2023)
  • Author(s): Koyama Sohei、Hiraga Kohei、Tatebe Osamu
  • Journal Title: Proceedings of 3rd Workshop on Re-envisioning Extreme-Scale I/O for Emerging Hybrid HPC Workloads (REX-IO) Volume: - Pages: 1-4
  • DOI: 10.1109/clusterworkshops61457.2023.00009
  • Peer Reviewed
• [Journal Article] Caching Support for CHFS Node-local Persistent Memory File System (2022)
  • Author(s): Tatebe Osamu、Ohtsuji Hiroki
  • Journal Title: Proceedings of 3rd Workshop on Extreme-Scale Storage and Analysis (ESSA 2022) Volume: - Pages: 1103-1110
  • DOI: 10.1109/ipdpsw55747.2022.00182
  • Peer Reviewed
• [Journal Article] Scalable Data Parallel Distributed Training for Graph Neural Networks (2022)
  • Author(s): Koyama Sohei、Tatebe Osamu
  • Journal Title: Proceedings of Workshop on AI for Datacenter Optimization (ADOPT'22) Volume: - Pages: 699-707
  • DOI: 10.1109/ipdpsw55747.2022.00121
  • Peer Reviewed
• [Journal Article] Cygnus - World First Multihybrid Accelerated Cluster with GPU and FPGA Coupling (2022)
  • Author(s): Boku Taisuke、Fujita Norihisa、Kobayashi Ryohei、Tatebe Osamu
  • Journal Title: Proceedings of 2nd International Workshop on Deployment and Use of Accelerators (DUAC) Volume: - Pages: 1-8
  • DOI: 10.1145/3547276.3548629
  • Peer Reviewed / Open Access
• [Presentation] FINCHFS: Design of Ad-hoc File System for High-Performance Computing Workload (2024)
  • Author(s): Sohei Koyama, Kohei Hiraga, Osamu Tatebe
  • Organizer: 22nd USENIX Conference on File and Storage Technologies (FAST)
  • Int'l Joint Research
• [Presentation] PMEMBB: 不揮発性メモリとMPI片側通信を用いたMPI-IOバーストバッファの設計 (2024)
  • Author(s): 平賀 弘平, 建部 修見
  • Organizer: 第193回情報処理学会ハイパフォーマンスコンピューティング研究発表会
• [Presentation] CA VOL: HDF5におけるコンテキストによるI/O最適化 (2024)
  • Author(s): 木下 嵩裕, 建部 修見
  • Organizer: 第193回情報処理学会ハイパフォーマンスコンピューティング研究発表会
• [Presentation] I/O-Aware Flushing for HPC Caching Filesystem (2023)
  • Author(s): Tatebe Osamu、Hiraga Kohei、Ohtsuji Hiroki
  • Organizer: 3rd Workshop on Re-envisioning Extreme-Scale I/O for Emerging Hybrid HPC Workloads (REX-IO)
  • Int'l Joint Research
• [Presentation] Accelerating I/O in Distributed Data Processing Systems with Apache Arrow CHFS (2023)
  • Author(s): Koyama Sohei、Hiraga Kohei、Tatebe Osamu
  • Organizer: 3rd Workshop on Re-envisioning Extreme-Scale I/O for Emerging Hybrid HPC Workloads (REX-IO)
  • Int'l Joint Research
• [Presentation] Fast Checkpointing of Large Language Models with TensorStore CHFS (2023)
  • Author(s): Sohei Koyama, (Advisor) Kohei Hiraga, Osamu Tatebe
  • Organizer: The International Conference for High Performance Computing, Networking, Storage, and Analysis (SC)
  • Int'l Joint Research
• [Presentation] Apache Arrow CHFSによるビッグデータ処理のI/O高速化 (2023)
  • Author(s): 小山 創平, 平賀 弘平, 建部 修見
  • Organizer: 第190回情報処理学会ハイパフォーマンスコンピューティング研究発表会
• [Presentation] Pegasusビッグメモリスーパコンピュータの性能評価 (2023)
  • Author(s): 建部 修見, 平賀 弘平, 前田 宗則, 藤田 典久, 小林 諒平, 額田 彰
  • Organizer: 第190回情報処理学会ハイパフォーマンスコンピューティング研究発表会
• [Presentation] FINCHFS: アドホック並列ファイルシステムの設計 (2023)
  • Author(s): 小山 創平, 平賀 弘平, 建部 修見
  • Organizer: 第192回情報処理学会ハイパフォーマンスコンピューティング研究発表会
• [Presentation] スパースセグメントを活用した局所性志向バーストバッファにおけるフラッシュ手法の検討 (2023)
  • Author(s): 杉原 航平, 建部 修見
  • Organizer: 第192回情報処理学会ハイパフォーマンスコンピューティング研究発表会
• [Presentation] NVMe SSD環境におけるCHFSの設計最適化の検討 (2023)
  • Author(s): 丸山 泰史, 建部 修見
  • Organizer: 第192回情報処理学会ハイパフォーマンスコンピューティング研究発表会
• [Presentation] RustのUCXラッパーasync-ucxの性能評価 (2023)
  • Author(s): 中野 将生, 平賀 弘平, 建部 修見
  • Organizer: 第192回情報処理学会ハイパフォーマンスコンピューティング研究発表会
• [Presentation] Persistent Memory Supercomputer Pegasus for Data-driven and AI-driven Science (2023)
  • Author(s): Osamu Tatebe
  • Organizer: IXPUG Workshop at HPC Asia 2023
  • Int'l Joint Research / Invited
• [Presentation] Caching Support for CHFS Node-local Persistent Memory File System (2022)
  • Author(s): Tatebe Osamu、Ohtsuji Hiroki
  • Organizer: 3rd Workshop on Extreme-Scale Storage and Analysis (ESSA 2022)
  • Int'l Joint Research
• [Presentation] Scalable Data Parallel Distributed Training for Graph Neural Networks (2022)
  • Author(s): Koyama Sohei、Tatebe Osamu
  • Organizer: Workshop on AI for Datacenter Optimization (ADOPT'22)
  • Int'l Joint Research
• [Presentation] Cygnus - World First Multihybrid Accelerated Cluster with GPU and FPGA Coupling (2022)
  • Author(s): Boku Taisuke、Fujita Norihisa、Kobayashi Ryohei、Tatebe Osamu
  • Organizer: 2nd International Workshop on Deployment and Use of Accelerators (DUAC)
  • Int'l Joint Research
• [Presentation] 不揮発性メモリを用いた分散オブジェクトストレージの設計 (2022)
  • Author(s): 巨畠 和樹，建部 修見
  • Organizer: 第184回情報処理学会ハイパフォーマンスコンピューティング研究発表会
• [Presentation] HPC環境を想定した探索的データ解析におけるノードローカルストレージの利用の検討 (2022)
  • Author(s): 巨畠 和樹，小山 創平，平賀 弘平，建部 修見
  • Organizer: 第185回情報処理学会ハイパフォーマンスコンピューティング研究発表会
• [Presentation] CHFSアドホック並列分散ファイルシステムのアクセス性能の評価 (2022)
  • Author(s): 建部 修見
  • Organizer: 第185回情報処理学会ハイパフォーマンスコンピューティング研究発表会
• [Presentation] MPI-IO/CHFS:ノードローカル不揮発性メモリを活用するアドホック分散ファイルシステムのためのMPI-IOの設計 (2022)
  • Author(s): 平賀 弘平，建部 修見
  • Organizer: 第185回情報処理学会ハイパフォーマンスコンピューティング研究発表会
• [Presentation] 分散キャッシュファイルシステムの設計と実装 (2022)
  • Author(s): 笠井 大暉，建部 修見
  • Organizer: 第186回情報処理学会ハイパフォーマンスコンピューティング研究発表会