• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2018 Fiscal Year Annual Research Report

Supporting performance-aware programming with machine learning techniques

Research Project

Project/Area Number 16H02822
Research InstitutionTohoku University

Principal Investigator

滝沢 寛之  東北大学, サイバーサイエンスセンター, 教授 (70323996)

Co-Investigator(Kenkyū-buntansha) 片桐 孝洋  名古屋大学, 情報基盤センター, 教授 (40345434)
横川 三津夫  神戸大学, 先端融合研究環, 教授 (70358307)
南 一生  国立研究開発法人理化学研究所, 計算科学研究センター, ユニットリーダー (70501998)
Project Period (FY) 2016-04-01 – 2019-03-31
Keywords性能最適化 / 機械学習 / 自動チューニング
Outline of Annual Research Achievements

本研究ではプログラム中の潜在的に性能への悪影響が大きいアンチパターンを特定し、さらにはそれを改善する「性能最適化作業」の知能化を目指している。平成29年度までの検討から、機械学習技術を用いることによって演算カーネルの実装選択や、反復解法アルゴリズムの前処理選択、コンパイラオプション選択等、性能最適化作業において熟練者が経験的に行ってきた判断の一部を機械学習によって代替できる可能性を示した。
平成30年度には、SpMVカーネルの実装選択を機械学習で実現する方法について詳細に検討・評価し、学術論文としてまとめた。また、多くの機械学習では多数のハイパーパラメータを学習の前に経験的に決めなければならないことから、その自動チューニングにも取り組み、成果をまとめた論文が最優秀論文賞を受賞した。
平成29年度に得られた知見を基に、平成30年度にはディープラーニングを活用した反復解法アルゴリズムの前処理選択方式の自動チューニング方式を改良し、多種の疎行列事例に対して性能評価を行った。その結果、実用に耐えうる精度で最適な前処理方式が選択できることを明らかにした。その成果は当該分野の国際ワークショップにて最優秀論文賞を受賞するなど、有用性が高く評価された。
静的解析ツールSTViewによる乱流シミュレーションコードを解析した結果を用いて、性能評価すべきコード部分、特にファイル入出力部分の抽出が容易に行え、計算システムの性能評価に用いることができた。また、その評価を通じてSTViewに関する今後の課題が明らかとなった.
性能化最適手法の体系化に関しては、メモリやL2キャッシュのビジー時間に注目し、アプリケーションタイプごとのビジー時間の傾向を整理した。これまでの体系化の結果を英語の本としてまとめ、現在出版作業中であり2019年に出版されることが決まっている。

Research Progress Status

平成30年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

平成30年度が最終年度であるため、記入しない。

  • Research Products

    (22 results)

All 2019 2018

All Journal Article (9 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 9 results,  Open Access: 1 results) Presentation (12 results) (of which Int'l Joint Research: 6 results,  Invited: 6 results) Book (1 results)

  • [Journal Article] The Impacts of Locality and Memory Congestion-aware Thread Mapping on Energy Consumption of Modern NUMA Systems2019

    • Author(s)
      Mulya Agung, Muhammad Alfian Amrizal, Ryusuke Egawa and Hiroyuki Takizawa
    • Journal Title

      2019 IEEE Symposium in Low-Power and High-Speed Chips (COOL CHIPS)

      Volume: - Pages: 1--3

    • Peer Reviewed
  • [Journal Article] Performance Evaluation of Different Implementation Schemes of an Iterative Flow Solver on Modern Vector Machines2019

    • Author(s)
      Kenta Yamaguchi, Takashi Soga, Yoichi Shimomura, Thorsten Reimann, Kazuhiko Komatsu, Ryusuke Egawa, Akihiro Musa, Hiroyuki Takizawa, Hiroaki Kobayashi
    • Journal Title

      Supercomputing Frontiers and Innovations

      Volume: - Pages: -

    • DOI

      10.14529/js190106

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] A Machine Learning-Based Approach for Selecting SpMV Kernels and Matrix Storage Formats2018

    • Author(s)
      Hang Cui and Shoichi Hirasawa and Hiroaki Kobayashi and Hiroyuki Takizawa
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E101-D(9) Pages: 2307-2314

    • DOI

      10.1587/transinf.2017EDP7176

    • Peer Reviewed
  • [Journal Article] Investigating the Effects of Dynamic Thread Team Size Adjustment for Irregular Applications2018

    • Author(s)
      Xiong Xiao, Mulya Agung, Muhammad Alfian Amrizal, Ryusuke Egawa and Hiroyuki Takizawa
    • Journal Title

      The Sixth International Symposium on Computing and Networking (CANDAR)

      Volume: - Pages: 76-84

    • DOI

      10.1109/CANDAR.2018.00017

    • Peer Reviewed
  • [Journal Article] A Failure Prediction-Based Adaptive Checkpointing Method with Less Reliance on Temperature Monitoring for HPC Applications2018

    • Author(s)
      Muhammad Alfian Amrizal and Pei Li and Mulya Agung and Ryusuke Egawa and Hiroyuki Takizawa
    • Journal Title

      IEEE International Conference on Cluster Computing (CLUSTER2018)

      Volume: - Pages: 512-523

    • DOI

      10.1109/CLUSTER.2018.00067

    • Peer Reviewed
  • [Journal Article] Use of Code Structural Features for Machine Learning to Predict Effective Optimizations2018

    • Author(s)
      Yuki Kawarabatake and Mulya Agung and Kazuhiko Komatsu and Ryusuke Egawa and Hiroyuki Takizawa
    • Journal Title

      2018 IEEE International Parallel & Distributed Processing Symposium Workshops

      Volume: - Pages: 1049-1055

    • DOI

      10.1109/IPDPSW.2018.00163

    • Peer Reviewed
  • [Journal Article] Preconditioner auto-tuning with deep learning for sparse iterative algorithms2018

    • Author(s)
      Kenya Yamada and Takahiro Katagiri and Hiroyuki Takizawa and Kazuo Minami and Mitsuo Yokokawa and Toru Nagai and Masao Ogino
    • Journal Title

      The Sixth International Symposium on Computing and Networking Workshops (CANDARW)

      Volume: - Pages: 257-262

    • DOI

      10.1109/CANDARW.2018.00055

    • Peer Reviewed
  • [Journal Article] Automatic Hyperparameter Tuning of Machine Learning Models under Time Constraints2018

    • Author(s)
      Zhen Wang and Agung Mulya and Ryusuke Egawa and Reiji Suda and Hiroyuki Takizawa
    • Journal Title

      IEEE Big Data 2018 Workshop, The Second International Workshop on Automation in Machine Learning and Big Data (AutoML 2018)

      Volume: - Pages: 4967-4973

    • DOI

      10.1109/BigData.2018.8622384

    • Peer Reviewed
  • [Journal Article] Performance Evaluation of a Vector Supercomputer SX-Aurora TSUBASA2018

    • Author(s)
      K. Komatsu, S. Momose, Y. Isobe, O. Watanabe, A. Musa, M. Yokokawa, T. Aoyama, M. Sato, H. Kobayashi
    • Journal Title

      International Conference for High Performance Computing, Networking, Storage and Analysis (SC ’18)

      Volume: - Pages: 685-696

    • DOI

      10.1109/SC.2018.00057

    • Peer Reviewed
  • [Presentation] An Energy Optimization Method for Hybrid In-Memory Checkpointing2019

    • Author(s)
      Muhammad Alfian Amrizal, Mulya Agung, Ryusuke Egawa, Hiroyuki Takizawa
    • Organizer
      IEEE Symposuim on Low-Power and High-Speed Chips and Systems (COOL Chips 22)
    • Int'l Joint Research
  • [Presentation] Toward Auto-tuning of Preconditioners for Sparse Iterative Solvers by Deep Learning2019

    • Author(s)
      Takahiro Katagiri
    • Organizer
      2019 Conference on Advanced Topics and Auto Tuning in High-Performance Scientific Computing (ATAT2019)
    • Int'l Joint Research / Invited
  • [Presentation] Auto-tuning of Preconditioners with Deep Learning2019

    • Author(s)
      Takahiro Katagiri, Kenya Yamada
    • Organizer
      SIAM Conference on Computational Science and Engineering (CSE19)
    • Int'l Joint Research
  • [Presentation] スーパーコンピュータにおける性能最適化技術2019

    • Author(s)
      南一生
    • Organizer
      最新アーキテクチャ向けプログラムチューニング技術ワークショップ
    • Invited
  • [Presentation] Memory First! A performance tuning strategy focusing on memory access patterns2019

    • Author(s)
      Hiroyuki Takizawa, Naoki Ebata, Mulya Agung, Muhammand Alan Amrizal, Ryusuke Egawa, Yoko Isobe, and Ryoji Takaki
    • Organizer
      The 29th Workshop on Sustained Simulation Performance
    • Int'l Joint Research / Invited
  • [Presentation] NEC SX-Aurora TSUBASA 向けプログラムチューニング技術2019

    • Author(s)
      滝沢寛之
    • Organizer
      最新アーキテクチャ向けプログラムチューニング技術ワークショップ
    • Invited
  • [Presentation] Expressing the Differences in Code Optimizations between Intel Knights Landing and NEC SX-ACE Processors2018

    • Author(s)
      Hiroyuki Takizawa, Thorsten Reimann, Kazuhiko Komatsu, Takashi Soga, Ryusuke Egawa, Akihiro Musa, and Hiroaki Kobayashi
    • Organizer
      The 13th World Congress on Computational Mechanics/2nd Pan American Congress on Computational Mechanics
    • Int'l Joint Research
  • [Presentation] SX-Aurora TSUBASAの基本性能および機能の初期評価2018

    • Author(s)
      滝沢寛之
    • Organizer
      SX-Aurora TSUBASAフォーラム
    • Invited
  • [Presentation] Code Optimization with ppOpen-AT and Preconditioner Selection by Deep Learning2018

    • Author(s)
      Takahiro Katagiri
    • Organizer
      International Symposium on Research and Education of Computational Science (RECS2018)
    • Int'l Joint Research / Invited
  • [Presentation] ディープラーニングによる数値計算ライブラリのチューニングパラメタの最適化の試み2018

    • Author(s)
      山田賢也、 片桐孝洋、永井亨、荻野正雄
    • Organizer
      第23回計算工学講演会
  • [Presentation] ディープラーニングを用いた数値計算ライブラリにおける反復解法の前処理選択の検討2018

    • Author(s)
      山田 賢也, 片桐 孝洋, 永井 亨, 荻野 正雄
    • Organizer
      日本応用数理学会 2018年度年会
  • [Presentation] 建物の地震動応答シミュレーションに現れる前処理付き共役勾配法の並列化2018

    • Author(s)
      後藤啓,横川三津夫,坂敏秀
    • Organizer
      第167回ハイパフォーマンスコンピューティング研究会
  • [Book] The Art of High Performance Computing for Computational Science Vol.22019

    • Author(s)
      Editor; Masaaki Geshi
    • Total Pages
      -
    • Publisher
      Springer

URL: 

Published: 2019-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi