A study of server management technology for sustaining a large scale distributed neural network
| Project/Area Number |
20K19791
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 60060:Information network-related
|
|---|
| Research Institution | Kindai University |
|---|
Principal Investigator |
水谷 后宏 近畿大学, 情報学部, 准教授 (40845939)
|
|---|
| Project Period (FY) |
2020-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
Fiscal Year 2022: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2021: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2020: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
|
|---|
| Keywords | 情報ネットワーク / 広域分散コンピューティング / 分散ニューラルネットワーク / オーバレイネットワーク / 分散学習 / 構造化オーバレイネットワーク / P2P / サーバ連携 / 深層学習 |
|---|
| Outline of Research at the Start |
本研究では，大規模なニューラルネットワークを膨大な数のサーバにて自律的かつ永続的に管理をしつつ，学習の規模拡張性を向上させる分散サーバ連携技術を創出することを目的とする．具体的には，ニューラルネットワークの構成に応じて，自律的にニューラルネットワーク上の計算タスク等をどのサーバに割り当てるかを決定する手法，およびサーバの追加や故障に応じて，サーバ間で計算結果を委譲・復元する手法の確立を目指す．
|
| Outline of Annual Research Achievements |
自律的なニューラルネットワークの分散実行基盤の実現に向けて，多数のサーバにより構成される分散実行基盤を実現するための基盤技術の創出を行い，以下の実績を創出することができた．
サーバの追加・故障を永続的にサポートできるサーバ連携技術の創出：構造化オーバレイと呼ばれる大規模サーバ連携技術を応用し，通常各サーバが接続関係のあるサーバに対してのみ故障状況を判断し対応するが，本研究では各サーバが故障したサーバと関係性のあるサーバ群を推定し，それらに限定的に通知することで故障対応を少ない通知回数で高速化する手法を創出した．この内容は国際論文誌に掲載されている．
ニューラルネットワークの分散実行を永続化する技術の創出：連合学習と呼ばれるニューラルネットワークの分散実行手法をより広域ネットワークで実現する階層型連合学習に対して，連合学習の同時実行性を考慮したサーバ管理手法の検討を行った．基礎検討内容に改良を加え，様々な階層関係を持つ複数の連合学習要求を，膨大な数のサーバ群間で調停するアルゴリズムを実装し，サーバの位置分布や連合学習の対象となるデータに実データを用いてその有効性を明らかにした．本内容については現在，国際論文誌に投稿中となっている．
これら以外にも，分散実行されるニューラルネットワーク内のトラフィックの推定技術やその制御技術に応用可能な基盤技術の創出を行い，その成果は国際論文誌に掲載されている．
|
Report
(4 results)
Research Products
(10 results)
