• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2018 年度 実績報告書

極端気象予測を拓くビッグデータ機械学習基盤の研究

研究課題

研究課題/領域番号 17H01748
研究機関筑波大学

研究代表者

建部 修見  筑波大学, 計算科学研究センター, 教授 (70357432)

研究分担者 日下 博幸  筑波大学, 計算科学研究センター, 教授 (10371478)
日野 英逸  統計数理研究所, モデリング研究系, 准教授 (10580079)
川島 英之  慶應義塾大学, 環境情報学部(藤沢), 准教授 (90407148)
研究期間 (年度) 2017-04-01 – 2020-03-31
キーワード極端気象 / 機械学習 / 並列分散処理
研究実績の概要

豪雨・突風・高温などの極端気象は人類に甚大な被害をもたらすが、その予測は極端気象に関する膨大な知識が必要である。本研究では、その知識を効率的に生成する機械学習基盤の構築を目的とする。平成30年度は、大規模な観測データを用いた深層学習を進めるための準備を行った。2006年から2018年までの全国合成レーダGPVと、JAMSTECから提供された可降水量のデータを用い、深層学習をするためのデータの準備を行った。可降水量が急に増えると雨が降ることを学習するためである。
この処理を行う過程において、いくつかの問題があることが分かった。一つ目は、深層学習のためにはミニバッチをまとめて学習を進めるが、そのミニバッチサイズの最適な値を見つけるのは試行錯誤が必要であること、二つ目は、学習における入力データの処理においてI/Oのボトルネックがあることである。
ミニバッチサイズについては、ミニバッチサイズによって学習処理をするGPUの利用効率が大きく異なることを発見し、自動的に最適なサイズにする手法の検討を行った。本成果は情報処理学会HPC研究会において研究発表した。二つ目のI/Oのボトルネックについては、深層学習のためには入力データをすべて読み込んで学習を行う必要があることと、読込データはランダムであることによる。この問題を解決するために、計算ノードのローカルストレージを用いたバーストバッファの研究を進め、情報処理学会HPC研究会において研究発表した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

ほぼ研究実施計画通り進んでいる。本年度は深層学習を行うためのデータの準備と学習における問題点を明らかにした。その問題点の解決を進めており、最終年度ではその解決が可能と考える。

今後の研究の推進方策

平成30年度までの研究により、大規模気象データを用いた深層学習における問題点を明らかにした。深層学習を行うGPUをアイドルにしないためのミニバッチサイズの決定とI/Oの最適化である。これらの問題について解決を行い、深層学習フレームワークの改良を行う。

  • 研究成果

    (12件)

すべて 2019 2018

すべて 雑誌論文 (9件) (うち査読あり 4件) 学会発表 (3件) (うち国際学会 1件)

  • [雑誌論文] ノードローカルバーストバッファのためのMPI-IOの設計2019

    • 著者名/発表者名
      杉原 航平、建部 修見
    • 雑誌名

      研究報告ハイパフォーマンスコンピューティング(HPC)

      巻: 2019-HPC-168(22) ページ: 1-7

  • [雑誌論文] 深層ニューラルネットワークにおける訓練高速化のための自動最適化2019

    • 著者名/発表者名
      芹沢 和洋、建部 修見
    • 雑誌名

      研究報告ハイパフォーマンスコンピューティング(HPC)

      巻: 2019-HPC-168(26) ページ: 1-10

  • [雑誌論文] Integration of Parallel Write Ahead Logging and Cicada Concurrency Control Method2018

    • 著者名/発表者名
      Takayuki Tanabe, Hideyuki Kawashima, and Osamu Tatebe
    • 雑誌名

      Proceedings of 2nd IEEE International Workshop on Big Data and IoT Security in Smart Computing (BITS)

      巻: - ページ: 291-296

    • DOI

      10.1109/SMARTCOMP.2018.00018

    • 査読あり
  • [雑誌論文] PPMDS: A Distributed Metadata Server Based on Nonblocking Transactions2018

    • 著者名/発表者名
      Kohei Hiraga, Osamu Tatebe, and Hideyuki Kawashima
    • 雑誌名

      Proceedings of The Second International Workshop on Data Science Engineering and its Applications

      巻: - ページ: 202-208

    • DOI

      10.1109/SNAMS.2018.8554478

    • 査読あり
  • [雑誌論文] Integrating TicToc with Parallel Logging2018

    • 著者名/発表者名
      Yasuhiro Nakamura, Hideyuki Kawashima, Osamu Tatebe
    • 雑誌名

      Proceedings of the 6th International Workshop on Computer Systems and Architectures

      巻: - ページ: 105-111

    • DOI

      10.1109/CANDARW.2018.00028

    • 査読あり
  • [雑誌論文] Skew-Aware Collective Communication for MapReduce Shuffling2018

    • 著者名/発表者名
      Harunobu Daikoku, Hideyuki Kawashima, and Osamu Tatebe
    • 雑誌名

      Proceedings of the 6th Workshop on Scalable Cloud Data Management

      巻: - ページ: 3331-3340

    • DOI

      10.1109/BigData.2018.8622088

    • 査読あり
  • [雑誌論文] サイエンティフィックビッグデータアプリケーションのためのベンチマークセットの提案2018

    • 著者名/発表者名
      岩井 厚樹、建部 修見
    • 雑誌名

      研究報告ハイパフォーマンスコンピューティング(HPC)

      巻: 2018-HPC-165(4) ページ: 1-5

  • [雑誌論文] 高性能計算のための分散オブジェクトストレージのCeph性能評価2018

    • 著者名/発表者名
      高橋 宗史、建部 修見
    • 雑誌名

      研究報告ハイパフォーマンスコンピューティング(HPC)

      巻: 2018-HPC-167(15) ページ: 1-8

  • [雑誌論文] コンテナ型仮想化におけるNVMe-oFの性能評価2018

    • 著者名/発表者名
      畑中 智之、建部 修見
    • 雑誌名

      研究報告ハイパフォーマンスコンピューティング(HPC)

      巻: 2018-HPC-167(13) ページ: 1-7

  • [学会発表] Gfarm/BB - Gfarm file system for burst buffers2019

    • 著者名/発表者名
      Osamu Tatebe
    • 学会等名
      CCS-LBNL Workshop
    • 国際学会
  • [学会発表] 熱中症患者搬送者数予測モデルのための温熱要素の調査2018

    • 著者名/発表者名
      佐藤拓人, 日下博幸, 日野英逸
    • 学会等名
      第57回日本生気象学会大会
  • [学会発表] 熱中症患者搬送者数予測に資する温熱要素の同定2018

    • 著者名/発表者名
      佐藤拓人, 日下博幸, 日野英逸
    • 学会等名
      日本ヒートアイランド学会 第13回全国大会

URL: 

公開日: 2019-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi