畳み込みニューラルネットワークのGPU上での学習時間の予測

2022 Fiscal Year Research-status Report

• Project/Area Number: 21K11834
• Research Institution: Chiba Institute of Technology
• Principal Investigator: BRYZGALOV PETR 千葉工業大学, 人工知能・ソフトウェア技術研究センター, 主任研究員 (70709691)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: 畳み込みニューラルネットワーク / CNN / GPU性能 / 性能予測 / ミニバッチサイズ / PyTorch

Outline of Annual Research Achievements

1. CNN学習時間の予測に使う畳み込み層の時間を、より正確にベンチマークするため、畳み込み層の時間をベンチマークするプロクシアプリDNNMarkの修正・改良を行った。
2. 予測モデルの精度と汎用性を高めるため、なるべく多くのCNNを学習に使うことが必要なので、CNNは昨年度に使った14種類から25種類まで増やし、PyTorchで実装されたCNNの学習時間を記録し、改良したプロクシアプリを使って畳み込み層の時間をベンチマークした。その際、科研費で購入したマシンとクラウド計算機を使い、合わせて5台のマシンで5種類のGPUを使用した。
3. 一台のマシンにおいて未知のCNNの学習時間を予測するモデルを構築するためのアプローチを開発した。
このアプローチで作成した予測モデルの特徴は、CPUの性能がボトルネックとなる小さなミニバッチサイズや、GPUの性能に依存する大きなミニバッチサイズを含む、幅広いミニバッチサイズにおいてCNNの学習時間を予測できるということである。
4. 一部のマシンにおいて、CNNの学習時間を高精度で予測できるモデルを構築するための特徴量とハイパーパラメーターを見つけ、25種類のPyTorchで実装されたCNNを使って予測の評価を行った。十分な予測性能を得られたことが確認できた。
5. 予測モデルの種類を深層ニューラルネットワークから学習の速いXGBoostに変えたため、予測モデルの構築が速くなった。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

CNNの中にはdepthwise畳み込み層というものが含まれることがあるが、そのdepthwise層を考慮したアプローチの開発に時間がかかったため、進捗に遅れが生じた。
具体的には、depthwise畳み込み層は、通常の畳み込み層とは異なり、pyTorchがcuDNNライブラリを使用しないことを発見した。当初のアプローチでは、cuDNNライブラリを使用してすべての畳み込み層の時間をベンチマークすることが可能であると想定していたので、予測モデルでdepthwise畳み込み層の時間を考慮するために、アプローチを変更する必要があった。

Strategy for Future Research Activity

1. 実験に使っている全てのマシンにおいて、CNN学習時間を予測するモデルを構築し、25種類のPyTorchで実装されたCNNで予測精度の評価を行い、十分な予測性能を得られることを確認する。2022年度中に開発したアプローチにより、予測モデルの構築が当初より速くなったので全体的には予定通りに進捗できる見込みである。
2. 構築した予測モデルを以前研究代表者らが作成した GPU 搭載クラウド計算機の比較ツールと連携させる。この連携により、与えられた CNN に対して、学習時間と価格でクラウド計算機等を比較できるようにする。
3. 研究成果の取りまとめとその発表を行う。

Causes of Carryover

GPUの価格は高騰し、当初予定していた30万円の予算内で、既に所持している計算機にインストールできる新世代のGPUを購入できなかった。
または、学会はオンライン形式で参加でき、旅費を使用しなかった。上記の理由により未使用額が生じた。
次年度の予算と繰り越された本年度の予算を合わせて、次年度中にGPU、若しくはGPU搭載マシンの購入に使用する。