2023 年度研究成果報告書

Scalable Hybrid-parallelism Design for Mega-Size Deep Learning Model

研究課題

PDF

研究課題/領域番号	21K17751
研究種目	若手研究
配分区分	基金
審査区分	小区分60090:高性能計算関連
研究機関	国立研究開発法人産業技術総合研究所
研究代表者	Nguyen Truong 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究員 (60835346)
研究期間 (年度)	2021-04-01 – 2024-03-31
キーワード	Distributed Training / Large Model / Large dataset / Large scale system
研究成果の概要	大規模なデータセットを使用した大規模なディープラーニングのトレーニングでは、3D 並列処理 (データ + パイプライン + テンソル) が標準になることがわかりました。このトレーニングプロセスを高速化する方法を提案しました。I/O 時間を短縮するために、ローカルシャッフルとペアワイズデータ交換およびモデル交換を使用して、モデルの精度を維持します。計算時間を短縮するために、トレーニング中に重要でないサンプルを削除します。ネットワークアーキテクチャと集団通信を共同設計することで、通信時間を短縮します。論文8件、ポスター2件を発表し、賞を2つ獲得しました。
自由記述の分野	High performance computing
研究成果の学術的意義や社会的意義	Our research helps to support the research and development of big models. It brings a groundbreaking new solution with the requirements of the urgent AI, e.g.,ChatGPT. It can be ultimately contributing to the advancement of AI models, particularly foundational models, in the context of social 5.0.