2022 Fiscal Year Research-status Report
大規模分散深層学習をIn-Network Computingで加速する相互結合網
| Project/Area Number |
20K19788
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
河野 隆太 国立情報学研究所, アーキテクチャ科学研究系, 特任助教 (90855751)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Keywords | 相互結合網 / 大規模分散深層学習 / ビッグデータ / In-Network Computing / データセンタ |
|---|
| Outline of Annual Research Achievements |
ビッグデータに対する大規模深層学習を行う場合、多数のプロセッサを同時並列に使用してデータの特徴量を抽出する必要がある。この問題の解決策として有力視されているのが、DSA（Domain Specific Architecture）と呼ばれる専用プロセッサをデータセンタ内に数十万ノードの規模で配置し、分散学習を行うシステムである。 しかし、ディープラーニングにおける順伝播や逆伝播の際、DSA間で特徴量や勾配を交換する通信が高遅延・高頻度となり、性能のボトルネックとなる。高帯域幅と拡張性を重視する従来のデータセンタ・ネットワークでは、こうした勾配交換のための通信の高速化は困難である。そこで本研究では、ネットワーク上の中間スイッチに特徴や勾配を集約して中間処理するIn-Network Computingを活用し、通信の低遅延性と高帯域性を両立するための技術開発に取り組んでいる。
第三年度である2022年度において研究代表者は、(1) ドメイン固有アプリケーションの性能向上のためのルーティング手法の改良、(2) ニューラルネットワークの接続構造最適化、の2点に取り組んだ。(1) について、実行アプリケーションに対して通信性能を最適化可能なルーティングの動的再構成手法の実用化を行った。また、(2) について、推論の高性能化と必要計算資源量の削減を両立可能な、ニューラルネットワークの接続構造の最適化手法を開発した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
第三年度である2022年度において研究代表者は、研究開始時に着眼点としていた (1) ドメイン固有アプリケーションの性能向上のためのルーティング手法、(2) 大規模深層学習のためのニューラルアーキテクチャの接続構造最適化、の2つの課題に取り組み、それぞれに対して多様かつオリジナルな手法を開発した。
課題(1) に対し、第二年度である2021年度において開発した手法に基づき、実アプリケーションに対して実行中に動的にルーティングを再構成することにより通信性能を最適化し、実行性能を向上させる実用的な手法を開発した。
また、(2) について、ニューラルネットワークにおけるレイヤ間の接続構造を最適化するため、これまで研究代表者が開発した相互結合網の最適化手法をニューラルネットワーク上に導入し、推論性能の向上と必要計算資源量の削減を両立可能とする手法を開発した。
これらの成果について、国内研究会・国際会議において対外発表を行い、さらにOSS (オープンソースソフトウェア) としてGitHub上に公開した。このように、業績面での進捗は当初の計画通り順調であると言える。
|
| Strategy for Future Research Activity |
第四年度である2023年度において研究代表者は、これまで開発してきた相互結合網の最適化技術の、光量子ネットワークを用いた深層学習システムへの適用について、研究予定を立てている。
量子コンピュータを領域特化型アクセラレータとして用いるQuantum Processing Units (QPU) が近年注目されている。本研究では、画像分類のためのニューラルネットワークを、従来の古典コンピュータによるレイヤと、光量子ネットワークを用いたレイヤのハイブリッド構成により構築するシステムに着目する。光量子ネットワークにより、Continuous variable (CV) Quantum Computingと呼ばれる連続量に対する演算が可能なレイヤを構築する。さらに、研究代表者がこれまで開発してきた相互結合網の最適化技術を応用し、光量子ネットワークの接続構造の最適化を行う。これにより、必要な量子ゲート数と推論精度のトレードオフの向上を実現する。
|
| Causes of Carryover |
データセンタ向けネットワークを実システムへ応用するためのシミュレーション環境構築のための設備として、物品費を計上していたが、2022年度は研究代表者が在籍する国立情報学研究所が既に保有する並列計算環境を用いて実験を行った。このため、物品費は0となった。
2023年度使用額の使用計画: 大規模分散深層学習のシミュレーション評価、及び古典・光量子コンピュータのハイブリッド型ニューラルアーキテクチャの実装評価を行うため、実機環境を構築するための計算サーバ・光量子デバイス等の設備導入費用として物品費を計上する。また、国内外の学会参加費を支出予定である。
|
