2023 Fiscal Year Research-status Report
多種多様なニューラルネットワークを収容可能にするネットワーク設計・制御技術
| Project/Area Number |
23K16876
|
|---|
| Research Institution | Kindai University |
|---|
Principal Investigator |
水谷 后宏 近畿大学, 情報学部, 准教授 (40845939)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | 情報ネットワーク / 広域分散コンピューティング / 分散ニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
本課題では構造が異なる大規模ニューラルネットワークを広範囲に分散された計算機リソースにて稼働させるためのネットワーク設計技術の研究を行っている．本年度については，1つの膨大なサイズのニューラルネットワークに着目し，NTTトポロジ上で分散的に管理されているGPUマシンをモデル化したシミュレーション環境下で，ネットワークの遅延時間と各拠点（例：データセンタ）のGPU数を加味し，分割した当該ニューラルネットワークの実行速度を最大化する部分ニューラルネットワークの割り当て問題の定式化に取り組んだ．また，本問題に対して，あるGPUマシンに対して分割された部分ニューラルネットワークを割り当てる際，次に実行すべき部分ニューラルネットワークをGPU数が多くネットワーク遅延時間が短くなるように割り当てていく貪欲法を検討し，遅延時間や計算時間に特化した貪欲法，遺伝的アルゴリズムを用いた最適化手法と性能比較した．その結果，割り当てた部分ニューラルネットワークで構成された大規模ニューラルネットワークの推論速度が，提案手法を用いた場合，他の手法に対して20%から30%程度速い結果となった．なお，本結果については，対象となるネットワーク環境やGPUマシンの分布に大きく依存することも分かった．そのため，今後は，様々な実用ネットワーク環境上でのシミュレーションなどの実験を行い，推論速度だけでなく学習速度の検証も行う必要があることがわかった．なお，本研究成果は国際会議論文として発行されている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究は，計算特性が異なるニューラルネットワークを数理モデル化・簡素化し，計算機リソース上で高速に割り当て，多種多様なニューラルネットワークの学習・推論の同時実行性を向上させることを目的としていた．ニューラルネットワークの数理モデル化・簡素化については，特定の分布関数の組み合わせによってニューロンの疎密関係を表現する手法を検討しており，現在，様々なニューラルネットワークの形式に対する表現能力を検証している段階である．計算機リソース（例：GPUマシン）に対してニューラルネットワークを割り当てる手法については，ニューラルネットワークを特定の同じサイズに分割し，それを計算機リソース上で高速で割り当てた．具体的には，計算機リソースをGPUとし，NTTトポロジ上に展開された多数の計算機リソースに対して，リソース間の遅延時間を考慮しつつ分割されたニューラルネットワークを順序通りに実行した際の実行速度の高速化を行った．学習・推論の同時実行性の向上については，現在，アプローチを検討している段階であり，先行して検討しているアプローチとの親和性や実アプリケーションを考慮する予定である．
|
| Strategy for Future Research Activity |
ニューラルネットワークの数理モデル化・簡素化については，現在，特定の分布関数を組み合わせることによってニューラルネットワークをモデル化しようとしているが，ニューラルネットワークの特性を加味し，ニューラルネットワークのグラフ構造をコンパクト化する方針についても，同時に検討を進めていく予定となっている．計算機リソースの割当については，現在，中央集権的な形でリソースの割当を一意に決定しているが，分散連合学習のフレームワークを利用し，計算機間で分散的にリソースの利用やそれに関する調停を実施するようなアプローチを検討していくことで，規模拡張性を向上していく方針を取りたいと考えている．学習・推論の同時実行性を加味したニューラルネットワークの操作については，超高精細映像の分散解析といった実アプリケーションを考慮することで，同時実行性を向上させるための具体的な要件を洗い出し，その要件を満たすようなアプローチを検討していく予定である．
|
| Causes of Carryover |
開始年度ということもあり、既存の計算機を用いた基礎検討を中心に行ったため、新たに機器を追加しなくとも研究を遂行できたため。また、次年度以降で成果をアウトプットする機会が増えるだけでなく、初年度で検討したアプローチを複数に計算機を購入して実験する予定があり、次年度以降のこれらの支出に充てるため。
|
