• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2017 Fiscal Year Annual Research Report

Supporting performance-aware programming with machine learning techniques

Research Project

Project/Area Number 16H02822
Research InstitutionTohoku University

Principal Investigator

滝沢 寛之  東北大学, サイバーサイエンスセンター, 教授 (70323996)

Co-Investigator(Kenkyū-buntansha) 片桐 孝洋  名古屋大学, 情報基盤センター, 教授 (40345434)
横川 三津夫  神戸大学, 先端融合研究環, 教授 (70358307)
南 一生  国立研究開発法人理化学研究所, 計算科学研究センター, ユニットリーダー (70501998)
Project Period (FY) 2016-04-01 – 2019-03-31
Keywords性能最適化 / 機械学習 / 自動チューニング
Outline of Annual Research Achievements

本研究ではプログラム中の潜在的に性能への悪影響が大きいアンチパターンを特定し、さらにはそれを改善する「性能最適化作業」の知能化を目指している。平成28年度の検討から、プログラムの構造などの静的情報だけではアンチパターンの特定や改善が困難であり、機械学習の適用可能な範囲は限定的であることが明らかになった。
そこで、平成29年度は、動的情報も用いて性能最適化作業の知能化を試みた。具体的には動的情報である性能プロファイル情報と、静的情報であるソースコードの構造情報の両方を用いて、効果的な性能最適化手法を予測する機械学習を検討した。その結果、静的情報と動的情報の両方を入力とする機械学習モデルは、どちらか一方のみを入力とするモデルよりも高い精度で有効な性能最適化手法を予測できることが明らかになった。
また、数値計算ライブラリにおける反復解法アルゴリズムにおいては、疎行列構造に応じた前処理方式の選択が性能に決定的な影響を及ぼす。しかし、その選択は高度な専門性が必要である。平成29年度、前処理選択の自動チューニングにおいて、ディープラーニングを活用した方式の提案と予備評価を行った。
さらに、平成29年度には静的解析ツールSTViewを地盤-建築物の地震動解析コードや乱流シミュレーションコードに適用し、コード全体のツリー構造が容易に把握できること、および初めてコードを扱う者にとって有益な情報が与えられることが明らかになった。この結果を用いて、地盤-建築物の地震動解析コードの並列化の指針が立てやすくなった。
性能最適化手法の知見の体系化にも引き続き取り組み、平成29年度には高並列化に関する問題点を6パターンに、ノード単体性能に関してはアプリケーションを6パターンに分類し、性能最適化技術をそれぞれのパターンについて体系化した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初の予定通り、静的情報に加えて動的情報も用いた機械学習を検討し、その有効性を評価することができた。その結果として、機械学習技術を用いることによって演算カーネルの実装選択や、反復解法アルゴリズムの前処理選択、コンパイラオプション選択等、性能最適化作業において熟練者が経験的に行ってきた判断の一部を機械学習によって代替できる可能性を示すことができた。

Strategy for Future Research Activity

平成29年度に投稿した論文の査読に時間がかかっており、その成果の公開が遅れてしまったが、条件付き採録となっていることから条件をクリアすることで採録されるように努めることとする。

  • Research Products

    (16 results)

All 2018 2017 Other

All Int'l Joint Research (1 results) Journal Article (8 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 7 results) Presentation (7 results) (of which Int'l Joint Research: 5 results,  Invited: 1 results)

  • [Int'l Joint Research] ダルムシュタット工科大学(ドイツ)

    • Country Name
      GERMANY
    • Counterpart Institution
      ダルムシュタット工科大学
  • [Journal Article] Use of Code Structural Features for Machine Learning to Predict Effective Optimizations2018

    • Author(s)
      Yuki Kawarabatake and Mulya Agung and Kazuhiko Komatsu and Ryusuke Egawa and Hiroyuki Takizawa
    • Journal Title

      2018 IEEE International Parallel & Distributed Processing Symposium Workshops

      Volume: - Pages: 1049-1055

    • DOI

      10.1109/IPDPSW.2018.00163

    • Peer Reviewed
  • [Journal Article] SX-Aurora TSUBASAにおけるプロセス間通信の性能評価2018

    • Author(s)
      塩月信智, 江川隆輔, 滝沢寛之
    • Journal Title

      情報処理学会 研究報告ハイパフォーマンスコンピューティング(HPC)

      Volume: 2018-HPC-165(21) Pages: 1--6

  • [Journal Article] The Importance of Dynamic Load Balancing among OpenMP Thread Teams for Irregular Workloads2017

    • Author(s)
      Xiong Xiao and Shoichi Hirasawa and Hiroyuki Takizawa and Hiroaki Kobayashi
    • Journal Title

      International Journal of Networking and Computing

      Volume: 7(2) Pages: 387--404

    • DOI

      10.1109/CANDAR.2016.0097

    • Peer Reviewed
  • [Journal Article] A Customizable Auto-Tuning Scenario with User-Defined Code Transformations2017

    • Author(s)
      Hiroyuki Takizawa and Daichi Sato and Shoichi Hirasawa and Daisuke Takahashi
    • Journal Title

      2017 IEEE International Parallel & Distributed Processing Symposium Workshops

      Volume: - Pages: 1372-1378

    • DOI

      10.1109/IPDPSW.2017.79

    • Peer Reviewed
  • [Journal Article] Optimizing Energy Consumption on HPC Systems with a Multi-level Checkpointing Mechanism2017

    • Author(s)
      Muhammad Alfian Amrizal and Hiroyuki Takizawa
    • Journal Title

      12th International Conference on Networking, Architecture, and Storage(NAS2017)

      Volume: - Pages: 1--9

    • DOI

      10.1109/NAS.2017.8026868

    • Peer Reviewed
  • [Journal Article] Vectorization-Aware Loop Optimization with User-Defined Code Transformations2017

    • Author(s)
      Hiroyuki Takizawa and Thorsten Reimann and Kazuhiko Komatsu and Takashi Soga and Ryusuke Egawa and Akihiro Musa and Hiroaki Kobayashi
    • Journal Title

      IEEE International Conference on Cluster Computing (CLUSTER2017), Workshop on Re-Emergence of Vector Architectures (REV-A)

      Volume: - Pages: 685-692

    • DOI

      10.1109/CLUSTER.2017.102

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] A Memory Congestion-aware MPI Process Placement for Modern NUMA Systems2017

    • Author(s)
      Mulya Agung and Muhammad Alfian Amrizal and Kazuhiko Komatsu and Ryusuke Egawa and Hiroyuki Takizawa
    • Journal Title

      24th IEEE International Conference on High Performance Computing, Data, and Analytics (HiPC2017)

      Volume: - Pages: 152-161

    • DOI

      10.1109/HiPC.2017.00026

    • Peer Reviewed
  • [Journal Article] An Application-Level Incremental Checkpointing Mechanism with Automatic Parameter Tuning2017

    • Author(s)
      Hiroyuki Takizawa and Muhammad Alfian Amrizal and Kazuhiko Komatsu and Ryusuke Egawa
    • Journal Title

      The Fifth International Symposium on Computing and Networking, International Workshop on Legacy HPC Application Migration (LHAM2017)

      Volume: - Pages: 389-394

    • DOI

      10.1109/CANDAR.2017.96

    • Peer Reviewed
  • [Presentation] Automatic Parameter Tuning of Application-Level Incremental Checkpointing2018

    • Author(s)
      Hiroyuki Takizawa, Muhammad Alfian Amrizal, Kazuhiko Komatsu, and Ryusuke Egawa
    • Organizer
      2018 Conference on Advanced Topics and Auto Tuning in High-Performance Scientific Computing (ATAT in HPSC 2018)
    • Int'l Joint Research
  • [Presentation] Towards prediction of effective optimizations in performance engineering2018

    • Author(s)
      Hiroyuki Takizawa
    • Organizer
      The 27th Workshop on Sustained Simulation Performance
    • Int'l Joint Research
  • [Presentation] User-Defined Code Transformation for Separation of Performance-Awareness from Application Codes2018

    • Author(s)
      Hiroyuki Takizawa
    • Organizer
      SIAM Conference on Parallel Processing for Scientific Computing
    • Int'l Joint Research
  • [Presentation] High Precision Computing of Matrix-Matrix Multiplications and a New Approach of Auto-Tuning to Numerical Libraries by Deep Learning2018

    • Author(s)
      Takahiro Katagiri, Shuntaro Ichimura and Kenya Yamada
    • Organizer
      SIAM Conference on Parallel Processing for Scientific Computing (PP) 18
    • Int'l Joint Research
  • [Presentation] Expectation to Supercomputer Benchmark from the Viewpoint of Performance Optimization Technology2018

    • Author(s)
      Kazuo Minami
    • Organizer
      SIAM Conference on Parallel Processing for Scientific Computing
    • Int'l Joint Research
  • [Presentation] 疎行列形状のカラー画像を入力としたディープラーニングによる数値計算ライブラリの自動チューニング方式2017

    • Author(s)
      山田賢也、片桐孝洋、永井亨、荻野 正雄
    • Organizer
      情報処理学会研究報告162-HPC-2017
  • [Presentation] ディープラーニングによるカラー画像を用いた疎行列反復解法ライブラリの自動チューニング2017

    • Author(s)
      山田賢也、片桐孝洋
    • Organizer
      NVIDIA GPU Technical Conference in Japan 2017 (GTC Japan 2017)、テクニカルセッション
    • Invited

URL: 

Published: 2019-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi