• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

自動チューニングにおける性能パラメタ最適化ツールの開発

研究課題

研究課題/領域番号 23K11126
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分60090:高性能計算関連
研究機関工学院大学

研究代表者

田中 輝雄  工学院大学, 情報学部(情報工学部), 教授 (90622837)

研究分担者 片桐 孝洋  名古屋大学, 情報基盤センター, 教授 (40345434)
研究期間 (年度) 2023-04-01 – 2027-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
4,810千円 (直接経費: 3,700千円、間接経費: 1,110千円)
2026年度: 520千円 (直接経費: 400千円、間接経費: 120千円)
2025年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2024年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2023年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
キーワード自動チューニング / 高性能計算 / パラメタチューニング / 並列計算 / 機械学習
研究開始時の研究の概要

本研究は、自動チューニングにおけるユーザプログラムの性能を決める複数性能パラメタの最適な組合せの探索に関する。我々は、これまで多くの成果およびノウハウについて報告・発表している.本研究では、この成果をもとに、この複数の性能パラメタの最適組合せ探索機能のツール化を行う。
ツールとして、主に次の2つを目的とする。(1)実行時自動チューニングを可能とするために、チューニングに要する時間が無視できる軽量ツールとする。(2)特に、時間を要する機械学習における複数のハイパーパラメタ群の自動チューニングを可能とするために、スーパーコンピュータの多数のノードを同時に並列利用可能とする並列実行制御を実現する。

研究実績の概要

本研究の目的は、自動チューニングにおける複数の性能パラメタの最適な組合せの探索を行うツールの開発である。主に次の2つの開発を行う。(1)実行時自動チューニングを可能とするために、チューニングに要する時間が無視できる軽量ツールを実現する。(2)特に、時間を要する機械学習における複数のハイパーパラメタ群の自動チューニングを可能とするために、スーパーコンピュータの多数のノードを同時に並列利用可能とする並列実行制御を実現する。目的を達成するために、次の3つの計画を推進する。
[計画1]性能パラメタ最適化ツールの開発:(1)実行時自動チューニングを可能とする軽量ツールを開発する。(2)機械学習のハイパーパラメタチューニングを対象とし、スーパーコンピュータの環境での並列実行制御環境を開発する。前者については、プロトタイプにより数々の機能を試行している。後者については、名古屋大学の不老TypeIIの環境で実現済であり、この手法を他のスーパーコンピュータの環境でも実行できるように汎用化する。[計画2]事例蓄積:ユーザプログラムを調査、入手し、実問題などの実例を積み上げてフィードバックを行うことにより、使い勝手の良いツールの開発を推進する。[計画3]ユーザへのβ版ツール提供とフィードバック:実際にユーザが使えるツールとするために、開発フェーズごとにβ版をユーザに提供し、実際に使用してもらうことにより使い勝手、課題を明確化し、フィードバックをかける。
2023年度は、[計画1](1)に対しては、5つの関数の仕様を定義、(2)に対しては、名大スーパーコンピュータ上で試作したツールを九大スーパーコンピュータ上での動作を確認した。[計画2]に対しては、学習型ゲームプログラムの最適化に試作ツールを適用し、自動的最適化を確認した。[計画3]については、試作ツールの提供先を調査した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

[計画1](1)に対しては、ユーザプログラムに試作ツールを組み込むことができるような関数とその利用仕様をまとめた。(2)に対しては、機会学習プログラムのハイパーパラメタはそのプログラムの外側から設定できることが多いので、そのインターフェースを利用して、学習プログラム全体を制御し、スーパーコンピュータの複数ノード(ここではGPUノードが前提)を有効に活用し、我々が開発している自動チューニングのアルゴリズムに適用させることを実現した。この開発は、名大スーパーコンピュータ上で行った。さらに、この試作したツールの汎用性を確かめるために、このツールを九大スーパーコンピュータ上で実行し、その動作を確認した。
[計画2]に対しては、学習型ゲームプログラムの最適化に試作ツールを適用し、自動的最適化を確認した。
[計画3]については、試作ツールの提供先を調査した。
前者については、プロトタイプにより数々の機能を試行している。後者については、名古屋大学の不老TypeIIの環境で実現済であり、この手法を他のスーパーコンピュータの環境でも実行できるように汎用化する。性能パラメタ最適化ツール開発は各フェーズを分けて行う。
これらはおおむね計画通りに進められている。

今後の研究の推進方策

当初の研究計画をもとに、状況に応じて修正を加えながら、研究を推進する。
[計画1]試作ツールを試用することによって判明した、ツールの能力の向上、ツールの使い勝手について、検討を進める。特に、(2)に対しては、ツールを実現するパラメタ最適化アルゴリズムにより、まだ、スーパーコンピュータのノードの利用効率が十分でないことが分かったので、アルゴリズム自体を変更し、ノードの利用効率を上げることにより、トータルで、パラメタ最適化の時間を短縮する方策を検討中であり、これを実装し、評価することを推進する。
[計画2]に対しては、さらに、実用レベルの問題を調査し、適用することを試みる。
[計画3]については、試作ツールの提供先を探していく。

報告書

(1件)
  • 2023 実施状況報告書
  • 研究成果

    (3件)

すべて 2024 2023

すべて 学会発表 (3件) (うち国際学会 1件、 招待講演 2件)

  • [学会発表] Acceleration Techniques for Software Auto-Tuning to Hyperparameters on Machine Learning Software2024

    • 著者名/発表者名
      Teruo Tanaka
    • 学会等名
      2024 Conference on Advanced Topics and Auto Tuning in High-Performance Scientific Computing (ATAT on HPSC)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Job level parallel search in software auto-tuning2024

    • 著者名/発表者名
      Yuga Yajima, Akihiro Fujii, Teruo Tanaka
    • 学会等名
      HPCAsia2024 (Poster)
    • 関連する報告書
      2023 実施状況報告書
    • 招待講演
  • [学会発表] 機械学習ソフトウェアへのソフトウェア自動チューニングの適用2023

    • 著者名/発表者名
      田中輝雄
    • 学会等名
      自動チューニング研究会オープンアカデミックセッション (ATOS30)
    • 関連する報告書
      2023 実施状況報告書

URL: 

公開日: 2023-04-13   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi