2021 Fiscal Year Research-status Report

大規模分散深層学習をIn-Network Computingで加速する相互結合網

Research Project

Project/Area Number	20K19788
Research Institution	National Institute of Informatics
Principal Investigator	河野隆太国立情報学研究所, アーキテクチャ科学研究系, 特任助教 (90855751)
Project Period (FY)	2020-04-01 – 2024-03-31
Keywords	相互結合網 / 大規模分散深層学習 / ビッグデータ / In-Network Computing / データセンタ
Outline of Annual Research Achievements	ビッグデータに対する大規模深層学習を行うにあたり、多数のプロセッサを同時に用いて特徴量を抽出するためのデータレベル並列性の活用が喫緊の課題となっている。その解決策として、データセンタ内にドメイン特化型アーキテクチャ (Domain Specific Architecture; DSA) と呼ばれる専用プロセッサを数十万ノードの規模で分散配置し、学習を行うシステムが有望とされている。しかし、深層学習における順伝播・逆伝播時に特徴量や勾配をエンドプロセッサ間で交換するための通信が高遅延・高頻度となり、性能のボトルネック化する。高帯域性や拡張性を重視する従来のデータセンタ向けネットワークでは、大規模分散深層学習の高速化が困難とされる。そこで、本研究では、ネットワーク上の中間スイッチ内で特徴量や勾配の集約・中間処理を行うIn-Network Computingを活用し、低遅延・低頻度の通信と、従来のネットワーク同様の高帯域性・拡張性を両立可能なスイッチ間相互結合網の開発に取り組んでいる。第二年度である2021年度において研究代表者は、(1) ドメイン固有アプリケーションの性能向上のためのルーティング手法の開発、(2)データセンタ向けネットワークの性能測定の高速化、の2点に取り組んだ。(1) について、(1)-A 実行アプリケーションに対して通信性能を最適化可能なルーティングの動的再構成手法、(1)-B 低遅延ネットワークに対し通信の輻輳回避とスケーラビリティ向上を両立可能なルーティング手法を開発した。また、(2) について、ネットワーク構成の最適化において繰り返し実行されるネットワーク性能の測定を、GPUを用いて高速に並列計算可能とした。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 第二年度である2021年度において研究代表者は、研究開始時に着眼点としていた (1)' 商用データセンタの高性能化のためのルーティング、(2)' 低遅延通信を実現するためのネットワーク構成、の2つの課題に取り組み、それぞれに対して多様かつオリジナルな手法を開発した。課題(1)' に対し、(1)-A 実行アプリケーションに対して通信性能を最適化可能なルーティングの動的再構成手法、(1)-B 低遅延ネットワークに対し通信の輻輳回避とスケーラビリティの向上を両立可能なルーティング手法を開発した。これら2つの手法により、深層学習アプリケーションに特化し、それを大規模に高性能化可能なルーティングを実現可能となり、当初の目的を達成した。また、(2)' について、ネットワーク構成の最適化において繰り返し実行されるネットワーク性能の測定を、GPUを用いて高速に並列計算可能とした。これにより、高性能な大規模ネットワークを構成するための手法の一部を実装できた。これらの成果について、国内研究会・国際会議において対外発表を行ったほか、OSS (オープンソースソフトウェア) としてGitHub上に公開した。このように、業績面での進捗は当初の計画通り順調であると言える。
Strategy for Future Research Activity	第三年度である2022年度において研究代表者は、以下の(a), (b) について研究予定を立てている。 (a) 特徴量抽出のためのニューラルアーキテクチャの協調設計: 学習時にプロセッサ間でやり取り・集約される特徴量・勾配データの通信を最適化可能な、新たなニューラルアーキテクチャの開発を行う。分散深層学習アプリケーションの一つである画像分類において、従来のResNet, DenseNet, EfficientNetなどのニューラルアーキテクチャは、複数プロセッサでの実装における通信を想定しておらず、通信ボトルネックによる学習時間の悪化が懸念される。そこで、本研究課題で開発した最適ネットワーク上で高い推論性能と少ない学習時間を両立可能な新たなニューラルアーキテクチャの協調設計を行う。 (b) 輻輳回避のためのルーティングの性能指標の開発: 本課題における通信遅延の小さいルーティング手法の開発段階において、最短経路のみを考慮した最適化が通信帯域を大幅に悪化させる懸念を生じさせることが明らかになりつつある。媒介中心性のような最短経路のみを考慮した従来のネットワーク指標ではこうした通信帯域の悪化をとらえることができない。そこで、非最短経路を含む単純道 (simple path) に対して適用可能な新たなネットワーク指標を開発し、通信遅延と通信帯域を同時に最適化可能とする。
Causes of Carryover	データセンタ向けネットワークを実システムへ実装するためのInfiniBandスイッチ等の実験設備として、物品費を計上していたが、今年度は申請者が着任した国立情報学研究所が既に保有するInfinibandネットワーク環境及び並列計算環境を用いて実験を行った。また、県外・国外への出張自粛により当初予定していた外部研究者との研究打ち合わせ及び学会発表をオンラインで行ったため、旅費は0となった。次年度使用額の使用計画: データセンタ向けネットワーク上での分散機械学習の実験評価を行うため、実機環境を構築するための計算サーバ等の設備導入費用として物品費を計上する。また、国内外の学会参加費を支出予定である。