2019 Fiscal Year Annual Research Report
| Project/Area Number |
17H01748
|
|---|
| Research Institution | University of Tsukuba |
|---|
Principal Investigator |
建部 修見 筑波大学, 計算科学研究センター, 教授 (70357432)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
日下 博幸 筑波大学, 計算科学研究センター, 教授 (10371478)
日野 英逸 統計数理研究所, モデリング研究系, 准教授 (10580079)
川島 英之 慶應義塾大学, 環境情報学部(藤沢), 准教授 (90407148)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 分散深層学習 / 極端気象 / 機械学習 / 並列I/O |
|---|
| Outline of Annual Research Achievements |
豪雨・突風・高温などの極端気象は人類に甚大な被害をもたらすが、その予測は極端気象に関する膨大な知識が必要である。本研究では、その知識を効率的に生成する機械学習基盤の構築を目的とする。これまで、大規模な観測データを用いた深層学習を進めるための準備として、2006年から2018年までの全国合成レーダGPVと、海洋研究開発機構の協力により得た可降水量のデータを用い、機械学習のためのデータの準備を行った。このデータは、可降水量の急な増加と豪雨などの関連性を学習すること想定している。この大規模データを用いて、大規模分散深層学習の基盤研究を進めた。大規模データにより学習を行う場合、大規模入力データの読込性能がボトルネックとなる。並列ファイルシステムの数多くの小規模データに対し、多数の計算ノードが一斉にランダムにアクセスするためである。本研究では、大規模分散深層学習における読込性能を向上させるため、並列ファイルシステムのデータをノードローカルSSDにプリフェッチする方法を提案した。従来、読込データはランダムに読込まれるためプリフェッチは難しいと考えられていたが、分散深層学習フレームワークにプリフェッチ機構を組込むことによりこの問題の解決を図った。筑波大学のCygnusスーパコンピュータにおいて評価を行い、本提案により、ノードローカルSSDにあらかじめステージングしておいたときとほぼ変わらない性能で大規模データの深層学習を行うことが可能であることを示した。これにより、大規模データの分散深層学習において読込データのボトルネックを解消することができる。本成果は国際会議6th IEEE/ACM International Conference on Big Data Computing, Applications and Technologies (BDCAT 2019)において発表を行った。
|
| Research Progress Status |
令和元年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和元年度が最終年度であるため、記入しない。
|
Research Products
(15 results)
