畳み込みニューラルネットワークのGPU上での学習時間の予測

• Project/Area Number: 21K11834
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 60050:Software-related
• Research Institution: Chiba Institute of Technology
• Principal Investigator: BRYZGALOV PETR 千葉工業大学, 人工知能・ソフトウェア技術研究センター, 主任研究員 (70709691)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Project Status: Granted (Fiscal Year 2022)
• Budget Amount: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2023: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000); Fiscal Year 2022: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2021: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
• Keywords: 畳み込みニューラルネットワーク / CNN / GPU性能 / 性能予測 / ミニバッチサイズ / PyTorch / ソフトウェア性能解析と予測 / 機械学習 / GPGPU

Outline of Research at the Start

畳み込みニューラルネットワーク(CNN) の学習は大量の計算が必要となるため、GPU を用いて高速化するのが常識となっている。ところが、学習に要する時間は GPU タイプや学習パラメータなどによって複雑に変化するため、場合によっては高価でピーク性能の高い GPU を使うよりも安価な GPU を使ったほうが高速に学習できる場合もある。このように、コスト・学習時間の観点から最適な学習環境を見つけることは困難であった。これに対し本研究では、様々な学習パラメータや GPU タイプにおいて CNN の学習時間を予測する仕組みを実現することを目指す。

Outline of Annual Research Achievements

1. CNN学習時間の予測に使う畳み込み層の時間を、より正確にベンチマークするため、畳み込み層の時間をベンチマークするプロクシアプリDNNMarkの修正・改良を行った。
2. 予測モデルの精度と汎用性を高めるため、なるべく多くのCNNを学習に使うことが必要なので、CNNは昨年度に使った14種類から25種類まで増やし、PyTorchで実装されたCNNの学習時間を記録し、改良したプロクシアプリを使って畳み込み層の時間をベンチマークした。その際、科研費で購入したマシンとクラウド計算機を使い、合わせて5台のマシンで5種類のGPUを使用した。
3. 一台のマシンにおいて未知のCNNの学習時間を予測するモデルを構築するためのアプローチを開発した。
このアプローチで作成した予測モデルの特徴は、CPUの性能がボトルネックとなる小さなミニバッチサイズや、GPUの性能に依存する大きなミニバッチサイズを含む、幅広いミニバッチサイズにおいてCNNの学習時間を予測できるということである。
4. 一部のマシンにおいて、CNNの学習時間を高精度で予測できるモデルを構築するための特徴量とハイパーパラメーターを見つけ、25種類のPyTorchで実装されたCNNを使って予測の評価を行った。十分な予測性能を得られたことが確認できた。
5. 予測モデルの種類を深層ニューラルネットワークから学習の速いXGBoostに変えたため、予測モデルの構築が速くなった。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

CNNの中にはdepthwise畳み込み層というものが含まれることがあるが、そのdepthwise層を考慮したアプローチの開発に時間がかかったため、進捗に遅れが生じた。
具体的には、depthwise畳み込み層は、通常の畳み込み層とは異なり、pyTorchがcuDNNライブラリを使用しないことを発見した。当初のアプローチでは、cuDNNライブラリを使用してすべての畳み込み層の時間をベンチマークすることが可能であると想定していたので、予測モデルでdepthwise畳み込み層の時間を考慮するために、アプローチを変更する必要があった。

Strategy for Future Research Activity

1. 実験に使っている全てのマシンにおいて、CNN学習時間を予測するモデルを構築し、25種類のPyTorchで実装されたCNNで予測精度の評価を行い、十分な予測性能を得られることを確認する。2022年度中に開発したアプローチにより、予測モデルの構築が当初より速くなったので全体的には予定通りに進捗できる見込みである。
2. 構築した予測モデルを以前研究代表者らが作成した GPU 搭載クラウド計算機の比較ツールと連携させる。この連携により、与えられた CNN に対して、学習時間と価格でクラウド計算機等を比較できるようにする。
3. 研究成果の取りまとめとその発表を行う。