Large-scale machine learning system
| Project/Area Number |
16K00116
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Research Field |
Software
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
NAKADA HIDEMOTO 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究主幹 (80357631)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Project Status |
Completed (Fiscal Year 2018)
|
| Budget Amount *help |
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2018: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2017: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2016: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | 分散計算 / 機械学習 / ディープラーニング / 並列計算 / 並列システム / 分散システム / 強化学習 / 分散ファイルシステム / ネットワーク構成 / 耐故障性 / IoT |
|---|
| Outline of Final Research Achievements |
Aiming at the construction of large-scale machine learning system, we conducted researches in the following three directions; 1) the system architecture in terms of network configuration, 2) effects on convergence, 3) machine learning applications.1) we investigated the relationship between network configuration and distribution method, using existing simulator. We found that relatively poor network configuration suffice the machine learning applications.2) we developed a novel hybrid simulator and investigated the effect, and found that the learning rate is quite important for parallelization. 3) we studied reinforcement learning and image generation.
|
| Academic Significance and Societal Importance of the Research Achievements |
ディープラーニングに代表される機械学習技術が広く普及しつつあるが、これらは大量の計算を伴うため並列分散化して実行することが非常に重要である。われわれは、大規模な並列分散機械学習システムを構成する方法に取り組み、このような計算システムを比較的安価かつ効率的に運用するために必要とされるハードウェアの構成を検討し、比較的安価なネットワークでも十分な性能が得られることを示した。さらに、パラメータを調整することで大規模に並列化しても計算の収束に影響しないように制御することが可能であることを示した。
|
Report
(4 results)
Research Products
(29 results)
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
-
[Presentation] Spark RDD の入出力性能の高速化2017
Author(s)
張 凱輝, 谷村 勇輔, 中田 秀基, 小川 宏高
Organizer
cross-disciplinary Workshop on Computing Systems, Infrastructures, and Programming
Place of Presentation
虎ノ門ヒルズフォーラム（東京）
Year and Date
2017-04-24
Related Report
-
-
-
-
-
-
