| 研究課題/領域番号 |
21K11912
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分60090:高性能計算関連
|
|---|
| 研究機関 | 大阪大学 |
|---|
研究代表者 |
伊達 進 大阪大学, サイバーメディアセンター, 教授 (20346175)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2025-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2023年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2022年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
2021年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
|
|---|
| キーワード | スケジューラ / DTN / ジョブ管理システム / 動的トラフィック制御 / Data Centric |
|---|
| 研究開始時の研究の概要 |
本研究では、システム外部のIoTセンサ等のデータ源から生成・取得される最新データをオンデマンドに活用する高性能計算(High Performance Computing: HPC)および高性能データ分析(High Performance Data Analysis: HPDA)を実行可能な高性能計算環境の実現を目指し、プロセッサ資源とネットワーク資源を対象としたHPC・HPDA融合計算基盤向け資源制御管理フレームワークを実現する。
|
| 研究実績の概要 |
本研究では、システム外部のIoTセンサ等のデータ源から生成・取得される最新データをオンデマンドに活用する高性能計算(High Performance Computing: HPC)および高性能データ分析(High Performance Data Analysis: HPDA)を実行可能な高性能計算環境の実現を目指し、プロセッサ資源とネットワーク資源を対象としたHPC・HPDA融合計算基盤向け資源制御管理フレームワークを実現する。具体的には、今日の高性能計算機システムの有するデータ移動および計算実行の非連動性を解消する、ユーザの分散並列処理要求に対応した計算資源、および、計算ジョブの実行前後に発生しうる高性能計算機システム内部と外部のストレージ間のデータ移動に伴うネットワーク資源を統合的かつ一元的に制御・管理するトラフィック動的制御機能配備型ジョブ管理システムを中核技術として開発する。本目的のために、2023年度は、ジョブ開始実行時間直前に、最新データをシステムに配置するようにするためにはより正確なジョブ実行時間が必要であることから、実際の高性能計算機システムのログを元に、機械学習を応用して、利用者の投入するジョブ要求に記載されたジョブ実行時間から実際のジョブ時間を推定する手法について検証・確認を進めた。当該手法について検証を進めた結果、利用者のジョブスクリプトに記載されたファイル名などの情報から、ジョブ実行時間の推定精度が向上することが判明した。一方で、今日の高性能計算機システムの有するデータ移動および計算実行の非連動性の達成のためには、さらなる推定精度の向上が必要であることがわかった。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
プロセッサ・ネットワーク資源統合スケジューリングモデル・手法の考案・実装に伴い、高性能計算機システムにおけるジョブ実行開始時間を機械学習によって高精度な予測が可能になることにより、大幅にシステム利用効率およびジョブ待ち時間の短縮につながりうる可能性があることを判明したことに伴い、2023年度は機械学習を応用したスケジューリング手法の実現可能性についての調査を行った。しかし、精度向上については確認できたものの、当初予定したほど有効な精度向上が見込めなかった。そのため、やや遅れているというステータスである。
|
| 今後の研究の推進方策 |
前半期に引き続き利用者の投入するジョブ要求に記載されたジョブ実行時間から実際のジョブ時間を推定する手法について調査を行いながら、提案手法の実装を行う。
|
