2020 Fiscal Year Research-status Report
A study of server management technology for sustaining a large scale distributed neural network
| Project/Area Number |
20K19791
|
|---|
| Research Institution | Kindai University |
|---|
Principal Investigator |
水谷 后宏 近畿大学, 理工学部, 講師 (40845939)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | オーバレイネットワーク / 分散学習 / 構造化オーバレイネットワーク / P2P |
|---|
| Outline of Annual Research Achievements |
本研究では、膨大なニューラルネットワークの分散学習手法について、通信ネットワークおよびその構成機器となるサーバの有機的な連携を通して、学習効率を向上させることを目的としていた。特に、分割したニューラルネットワークを分散的に管理する上で、ニューラルネットワークの部分構造を維持するサーバの故障によって、ニューラルネットワーク全体の学習効率が下がる問題を解決する分散ニューラルネットワーク管理技術の確立を目指した。具体的には、ニューラルネットワーク間にて、学習結果を共有・集約するプロセスにおいて、サーバ故障によって消失するであろう学習結果を複製し、同時並列にて送信・集約するアルゴリズムを開発した。本アルゴリズムは、高い耐故障性を実現するだけでなく、サーバの台数が膨大になったとしても、少ないサーバ間のつながり（コネクション）、および少ない通信回数にて、上記で述べた耐故障性を実現させることができた。
2020年度の研究計画において、シミュレーション・エミュレーション実験を通して反復構造を持つ単純なニューラルネットワークの分散管理実験を行う予定であったが、エミュレーション実験を後回しにし、反復構造だけでなく、最先端の複雑なニューラルネットワークにも適用可能な、分散学習アルゴリズムの検討を実施した。その結果、ニューラルネットワークの構造によらず、学習結果を高い耐故障性を持って共有・集約を実現するアルゴリズムを考案することができた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2020年度では反復構造を持つニューラルネットワークといった一般的なニューラルネットワークの分散学習方法を検討する予定であった。また、分散学習を実施する際に、何を効率化するか（指標）を明確化することも予定に含まれていた。一般的な反復構造をニューラルネットワークの分散学習において、膨大な数のサーバ間で学習結果を保持し、それらを共有する手法を確立することは、分散学習を円滑にすすめる上で、最も重要なトピックであると考え、本トピックに集中的に取り組んだ。また、指標については、耐故障性を向上させる指標に対して、アプローチすることとし、耐故障性を向上させつつ、分散学習を円滑に実施するサーバ連携技術の創出をターゲットとした。その結果、両特性を保ちつつ高い規模拡張性を持つ構造化オーバレイ技術を開発し、当該、分散学習の効率化に対して適用し、シミュレーション実験を通して、サーバの故障頻度が増加しても、学習結果の共有を円滑に進めることができるとの知見を得た。本研究の最終ゴールはエミュレーションによる分散学習の効率化であり、エミュレーション実験を行うための基礎的評価としてのシミュレーション実験が良好だったため、今後も順調に研究を進められる状況である。
|
| Strategy for Future Research Activity |
今年度は、シミュレーション実験を通して、耐故障性を兼ね備えた分散学習アルゴリズムの有効性を確認できた。耐故障性の向上は、分散学習を円滑にすすめるために一要因であるが、ネットワークの高速化や学習効率自体を向上させるという観点から、分散学習アルゴリズムを検討する価値があると考えられる。今後は、これらの観点から分散学習アルゴリズムを創出し、シミュレーションにて評価を進める一方、成果の出ている耐故障性を兼ね備えた分散学習アルゴリズムに関しては、エミュレーション実験を通して、実運用におけるアルゴリズムのボトルネックやその性能向上を実施していく予定である。
|
| Causes of Carryover |
コロナウイルスの影響によって、対外活動が制限されたことによる旅費が不要になったため。また、エミュレーション実験を後回しにし、アルゴリズム作成およびシミュレーション実験を優先させたことにより、エミュレーション実験を行う機材の購入を次年度にまわしたため。
|
