• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2023 Fiscal Year Annual Research Report

次世代ストレージアーキテクチャの研究

Research Project

Project/Area Number 22H00509
Research InstitutionUniversity of Tsukuba

Principal Investigator

建部 修見  筑波大学, 計算科学研究センター, 教授 (70357432)

Co-Investigator(Kenkyū-buntansha) 大辻 弘貴  富士通株式会社(富士通研究所), その他部局等, 研究員 (10870016)
Project Period (FY) 2022-04-01 – 2027-03-31
Keywordsストレージシステム / 並列I/O / 高性能システム
Outline of Annual Research Achievements

本研究は、スーパコンピュータシステムにおける重要課題となっているストレージ性能問題を解決するため、不揮発性メモリを活用した新しいストレージシステムのアーキテクチャの研究を行うものである。2022年度においては、計算ノードの不揮発性メモリを有効活用する一時的な並列ストレージシステム(アドホックファイルシステム)の設計を行った。2023年度においては、そのアドホックファイルシステムに対する高度化の設計を実施した。アドホックファイルシステムは、スーパーコンピュータが通常用いる並列ファイルシステムと計算ノードの間に存在する高速なストレージであるが、並列ファイルシステムとアドホックファイルシステムの間のデータ移動は自動的にはなされない。このデータ移動はステージイン、ステージアウトと呼ばれるが、その処理が正しく行われないと読み込みたいデータが読み込めなかったり、書き込んだデータが並列ファイルシステムに書き込まれなくなる。一方で、この処理を自動化すると、既存のシステムではアドホックファイルシステムの性能が落ちてしまう問題があった。この問題について、アドホックファイルシステムと並列ファイルシステムの間の一貫性を、ユーザに分かりやすい範囲で緩和することにより解決を図った。成果は国際会議で発表した。また、データ解析、機械学習フレームワークにおいて、アドホックファイルシステムを利用するための研究を進めた。それらのフレームワークでは、データの入出力にApache Arrowが多く利用されており、Apache Arrowの拡張を行い問題解決を図った。成果については国際会議で発表した。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

ストレージシステムの評価がスムーズに進み、データ移動を自動的に行うシステムの設計まで進めたため。

Strategy for Future Research Activity

データ移動を自動的に行うシステムの高度化を進めるとともに、さらに高度なストレージシステムの設計を進める。

  • Research Products

    (14 results)

All 2024 2023

All Journal Article (2 results) (of which Peer Reviewed: 2 results) Presentation (12 results) (of which Int'l Joint Research: 4 results)

  • [Journal Article] I/O-Aware Flushing for HPC Caching Filesystem2023

    • Author(s)
      Tatebe Osamu、Hiraga Kohei、Ohtsuji Hiroki
    • Journal Title

      Proceedings of 3rd Workshop on Re-envisioning Extreme-Scale I/O for Emerging Hybrid HPC Workloads (REX-IO)

      Volume: - Pages: pp.11-17

    • DOI

      10.1109/CLUSTERWorkshops61457.2023.00012

    • Peer Reviewed
  • [Journal Article] Accelerating I/O in Distributed Data Processing Systems with Apache Arrow CHFS2023

    • Author(s)
      Koyama Sohei、Hiraga Kohei、Tatebe Osamu
    • Journal Title

      Proceedings of 3rd Workshop on Re-envisioning Extreme-Scale I/O for Emerging Hybrid HPC Workloads (REX-IO)

      Volume: - Pages: pp.1-4

    • DOI

      10.1109/CLUSTERWorkshops61457.2023.00009

    • Peer Reviewed
  • [Presentation] FINCHFS: Design of Ad-hoc File System for High-Performance Computing Workload2024

    • Author(s)
      Sohei Koyama, Kohei Hiraga, Osamu Tatebe
    • Organizer
      22nd USENIX Conference on File and Storage Technologies (FAST)
    • Int'l Joint Research
  • [Presentation] PMEMBB: 不揮発性メモリとMPI片側通信を用いたMPI-IOバーストバッファの設計2024

    • Author(s)
      平賀 弘平, 建部 修見
    • Organizer
      第193回情報処理学会ハイパフォーマンスコンピューティング研究発表会
  • [Presentation] CA VOL: HDF5におけるコンテキストによるI/O最適化2024

    • Author(s)
      木下 嵩裕, 建部 修見
    • Organizer
      第193回情報処理学会ハイパフォーマンスコンピューティング研究発表会
  • [Presentation] I/O-Aware Flushing for HPC Caching Filesystem2023

    • Author(s)
      Tatebe Osamu、Hiraga Kohei、Ohtsuji Hiroki
    • Organizer
      3rd Workshop on Re-envisioning Extreme-Scale I/O for Emerging Hybrid HPC Workloads (REX-IO)
    • Int'l Joint Research
  • [Presentation] Accelerating I/O in Distributed Data Processing Systems with Apache Arrow CHFS2023

    • Author(s)
      Koyama Sohei、Hiraga Kohei、Tatebe Osamu
    • Organizer
      3rd Workshop on Re-envisioning Extreme-Scale I/O for Emerging Hybrid HPC Workloads (REX-IO)
    • Int'l Joint Research
  • [Presentation] Fast Checkpointing of Large Language Models with TensorStore CHFS2023

    • Author(s)
      Sohei Koyama, (Advisor) Kohei Hiraga, Osamu Tatebe
    • Organizer
      The International Conference for High Performance Computing, Networking, Storage, and Analysis (SC)
    • Int'l Joint Research
  • [Presentation] Apache Arrow CHFSによるビッグデータ処理のI/O高速化2023

    • Author(s)
      小山 創平, 平賀 弘平, 建部 修見
    • Organizer
      第190回情報処理学会ハイパフォーマンスコンピューティング研究発表会
  • [Presentation] Pegasusビッグメモリスーパコンピュータの性能評価2023

    • Author(s)
      建部 修見, 平賀 弘平, 前田 宗則, 藤田 典久, 小林 諒平, 額田 彰
    • Organizer
      第190回情報処理学会ハイパフォーマンスコンピューティング研究発表会
  • [Presentation] FINCHFS: アドホック並列ファイルシステムの設計2023

    • Author(s)
      小山 創平, 平賀 弘平, 建部 修見
    • Organizer
      第192回情報処理学会ハイパフォーマンスコンピューティング研究発表会
  • [Presentation] スパースセグメントを活用した局所性志向バーストバッファにおけるフラッシュ手法の検討2023

    • Author(s)
      杉原 航平, 建部 修見
    • Organizer
      第192回情報処理学会ハイパフォーマンスコンピューティング研究発表会
  • [Presentation] NVMe SSD環境におけるCHFSの設計最適化の検討2023

    • Author(s)
      丸山 泰史, 建部 修見
    • Organizer
      第192回情報処理学会ハイパフォーマンスコンピューティング研究発表会
  • [Presentation] RustのUCXラッパーasync-ucxの性能評価2023

    • Author(s)
      中野 将生, 平賀 弘平, 建部 修見
    • Organizer
      第192回情報処理学会ハイパフォーマンスコンピューティング研究発表会

URL: 

Published: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi