2016 Fiscal Year Research-status Report
| Project/Area Number |
16K00116
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
中田 秀基 国立研究開発法人産業技術総合研究所, 人工知能研究センター, 研究チーム長 (80357631)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 機械学習 / 分散計算 / 分散ファイルシステム / ネットワーク構成 / 耐故障性 |
|---|
| Outline of Annual Research Achievements |
大規模なデータを対象とする機械学習を実現するための、並列計算基盤の研究開発を行う。インターネットの普及により大規模なデータの蓄積が容易になり、それを対象とした機械学習技術が大きく発展している。しかし、IoT(Internetof Things)の今後の発展によってより大規模なデータが日々生成されること、さらに機械学習技術の発達により機械学習の計算量が増大することを考慮すると、現在の処理手法では対応することが難しいと思われる。本研究提案では、大容量データと計算量の大きい機械学習技術に特化した大規模並列計算基盤の研究を行う。
機械学習の大規模化においては２つの独立した課題がある。１つは、大量の学習データを効率よく機械学習機に提供する大容量データ入力問題、もう１つは並列に機械学習計算を行う問題である。
大容量データ入力に関しては、従来の分散ファイルシステムでは多数の計算機からのランダムに近いデータ要求に対して十分な性能を確保することができないため、メモリ上に確保されたキャッシュを効率的に用いることが鍵となる。本課題では並列分散システムSparkの中間データキャッシュ機構に着目し改良を進めた。
機械学習の並列化においては大別してモデル並列とデータ並列という２つの方向がある。モデル並列は単一モデルの内部を並列化するのに対して、データ並列は復数のモデルを同時並行して学習させ、間欠的にモデルを同期することで計算を行う手法である。本課題ではデータ並列機械学習を対象に、耐故障性に関する解析と、ネットワーク構成との関係に関する解析を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
大容量データ入力に関してはApache Sparkを対象に中間データ保持機構の最適化を行った。従来の手法ではメモリ上のキャッシュとディスク上のキャッシュの連携が不十分であったため、不必要なデータ移動が頻発し性能が低下していた。われわれはこの点に着目し、連携アルゴリズムを改良することで、典型的なプログラムにおいて大きな性能向上を得ることができた。本件に関しては研究会発表１件、ワークショップ発表１件、ポスター発表１件を行っている。
データ並列機械学習の耐故障性に関しては、シミュレータを用いて、さまざまな耐故障アルゴリズムの定量的比較を行い、モデル同期手法の一つであるパラメータサーバを用いた方法では、この方法に固有の耐故障アルゴリズムによって効率的に耐故障性が実現できることを示した。本件に関しては査読付き国際会議発表1件、研究会発表１件を行っている。
データ並列機械学習を実行する計算機におけるネットワークへの要件を明らかにするために、シミュレーションによる定量的評価を行った。いくつかのモデル同期手法に対して、さまざまなネットワーク構成でのネットワーク通信コストを評価した。この結果、データ並列機械学習におけるネットワーク負荷は、通常のいわゆる高性能計算における通信と比較して遥かに小さく、したがってネットワークへの要請が小さいことを明らかにした。本件に関しては、ワークショップ発表１件、ポスター発表１件を行っている。
以上のようにそれぞれの項目に関して着実な成果を上げており、研究はおおむね順調に進展していると言える。
|
| Strategy for Future Research Activity |
平成29年度には、28年度の研究でえられた知見をもとに、既存のディープラーニングシステムの分散並列実装を行うとともに、Sparkにおけるキャッシュのさらなる効率化に取り組む。
ディープラーニングの分散並列実装においてはSparkを用いた比較的シンプルなプロトタイプをまず作製した上で、標準的な通信ライブラリであるMPIを用いた効率重視の実装を行う予定である。Sparkを用いたバージョンは実装が比較的容易であるとともにデプロイが容易で、学習データの供給が容易であることが期待できるが、通信が非効率的になるため性能的には劣ることが予想される。MPIを用いた実装では、通信は遥かに効率的になり性能面では優れていることが期待できるが、学習データを供給する方法が難しいことが予想される。この点に関してはテンポラリな分散ファイルシステムを用いるなど、別途手当をする予定である。
|
| Causes of Carryover |
投稿し発表した国際会議が偶然にも２８年度は国内での開催であったため、旅費が予定していたよりも低額であった。また、計算機調達においても予定価格よりも安価に購入できた。
|
| Expenditure Plan for Carryover Budget |
効率的な研究のためにディープラーニング用計算機を新たに調達することを予定している。
|
Research Products
(7 results)
-
-
-
-
[Presentation] Spark RDD の入出力性能の高速化2017
Author(s)
張 凱輝, 谷村 勇輔, 中田 秀基, 小川 宏高
Organizer
cross-disciplinary Workshop on Computing Systems, Infrastructures, and Programming
Place of Presentation
虎ノ門ヒルズフォーラム（東京）
Year and Date
2017-04-24 – 2017-04-26
-
-
-
