| Project/Area Number |
23K16876
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 60060:Information network-related
|
|---|
| Research Institution | Kindai University |
|---|
Principal Investigator |
水谷 后宏 近畿大学, 情報学部, 准教授 (40845939)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2025: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | 情報ネットワーク / 広域分散コンピューティング / 分散ニューラルネットワーク |
|---|
| Outline of Research at the Start |
本研究では，通信ネットワークで結合された多数の計算機からなる環境にて，構成規模や計算特性が異なる様々なニューラルネットワークの効率的な同時共存を可能にするネットワーク設計・制御技術の研究を行う．具体的には，計算特性が異なるニューラルネットワークを数理モデル化・簡素化し，計算機リソース上に高速にて割り当て，多種多様なニューラルネットワークの学習・推論の同時実行性を向上させることを目的とする．
|
| Outline of Annual Research Achievements |
本課題では構造が異なる大規模ニューラルネットワークを広範囲に分散された計算機リソースにて稼働させるためのネットワーク設計技術の研究を行っている．本年度については，1つの膨大なサイズのニューラルネットワークに着目し，NTTトポロジ上で分散的に管理されているGPUマシンをモデル化したシミュレーション環境下で，ネットワークの遅延時間と各拠点（例：データセンタ）のGPU数を加味し，分割した当該ニューラルネットワークの実行速度を最大化する部分ニューラルネットワークの割り当て問題の定式化に取り組んだ．また，本問題に対して，あるGPUマシンに対して分割された部分ニューラルネットワークを割り当てる際，次に実行すべき部分ニューラルネットワークをGPU数が多くネットワーク遅延時間が短くなるように割り当てていく貪欲法を検討し，遅延時間や計算時間に特化した貪欲法，遺伝的アルゴリズムを用いた最適化手法と性能比較した．その結果，割り当てた部分ニューラルネットワークで構成された大規模ニューラルネットワークの推論速度が，提案手法を用いた場合，他の手法に対して20%から30%程度速い結果となった．なお，本結果については，対象となるネットワーク環境やGPUマシンの分布に大きく依存することも分かった．そのため，今後は，様々な実用ネットワーク環境上でのシミュレーションなどの実験を行い，推論速度だけでなく学習速度の検証も行う必要があることがわかった．なお，本研究成果は国際会議論文として発行されている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究は，計算特性が異なるニューラルネットワークを数理モデル化・簡素化し，計算機リソース上で高速に割り当て，多種多様なニューラルネットワークの学習・推論の同時実行性を向上させることを目的としていた．ニューラルネットワークの数理モデル化・簡素化については，特定の分布関数の組み合わせによってニューロンの疎密関係を表現する手法を検討しており，現在，様々なニューラルネットワークの形式に対する表現能力を検証している段階である．計算機リソース（例：GPUマシン）に対してニューラルネットワークを割り当てる手法については，ニューラルネットワークを特定の同じサイズに分割し，それを計算機リソース上で高速で割り当てた．具体的には，計算機リソースをGPUとし，NTTトポロジ上に展開された多数の計算機リソースに対して，リソース間の遅延時間を考慮しつつ分割されたニューラルネットワークを順序通りに実行した際の実行速度の高速化を行った．学習・推論の同時実行性の向上については，現在，アプローチを検討している段階であり，先行して検討しているアプローチとの親和性や実アプリケーションを考慮する予定である．
|
| Strategy for Future Research Activity |
ニューラルネットワークの数理モデル化・簡素化については，現在，特定の分布関数を組み合わせることによってニューラルネットワークをモデル化しようとしているが，ニューラルネットワークの特性を加味し，ニューラルネットワークのグラフ構造をコンパクト化する方針についても，同時に検討を進めていく予定となっている．計算機リソースの割当については，現在，中央集権的な形でリソースの割当を一意に決定しているが，分散連合学習のフレームワークを利用し，計算機間で分散的にリソースの利用やそれに関する調停を実施するようなアプローチを検討していくことで，規模拡張性を向上していく方針を取りたいと考えている．学習・推論の同時実行性を加味したニューラルネットワークの操作については，超高精細映像の分散解析といった実アプリケーションを考慮することで，同時実行性を向上させるための具体的な要件を洗い出し，その要件を満たすようなアプローチを検討していく予定である．
|
