Large-scale machine learning system

2018 Fiscal Year Final Research Report

• Project/Area Number: 16K00116
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Software
• Research Institution: National Institute of Advanced Industrial Science and Technology
• Principal Investigator: NAKADA HIDEMOTO 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究主幹 (80357631)
• Project Period (FY): 2016-04-01 – 2019-03-31
• Keywords: 分散計算 / 機械学習 / ディープラーニング / 並列計算

Outline of Final Research Achievements

Aiming at the construction of large-scale machine learning system, we conducted researches in the following three directions; 1) the system architecture in terms of network configuration, 2) effects on convergence, 3) machine learning applications.1) we investigated the relationship between network configuration and distribution method, using existing simulator. We found that relatively poor network configuration suffice the machine learning applications.2) we developed a novel hybrid simulator and investigated the effect, and found that the learning rate is quite important for parallelization. 3) we studied reinforcement learning and image generation.

Free Research Field

分散計算、 並列計算、機械学習、

Academic Significance and Societal Importance of the Research Achievements

ディープラーニングに代表される機械学習技術が広く普及しつつあるが、これらは大量の計算を伴うため並列分散化して実行することが非常に重要である。われわれは、大規模な並列分散機械学習システムを構成する方法に取り組み、このような計算システムを比較的安価かつ効率的に運用するために必要とされるハードウェアの構成を検討し、比較的安価なネットワークでも十分な性能が得られることを示した。さらに、パラメータを調整することで大規模に並列化しても計算の収束に影響しないように制御することが可能であることを示した。