2017 Fiscal Year Research-status Report
| Project/Area Number |
16K00116
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
中田 秀基 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究主幹 (80357631)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 機械学習 / 並列システム / 分散システム / 強化学習 |
|---|
| Outline of Annual Research Achievements |
大規模機械学習システムの構築に向けて、３つの方向から研究を進めた。1) データ並列機械学習システムに適したネットワーク構造の研究、2) 機械学習システムでの効率的なメモリシステムの利用の研究、3)大規模機械学習システムを利用する機械学習アルゴリズムの検討の３つである。
1)ネットワーク構造の研究については、大規模システムを実際に構築することは研究の効率性から妥当でないと考え、ネットワークシミュレータを用いて研究を進めた。現在広くクラスタ構築の際に用いられているネットワークトポロジとして、ファットツリーをとりあげファットツリーの代表的ないくつかの構成に対して比較を行った。その際に、データ並列機械学習システムのデータ交換方法を比較した。その結果、データ交換方法を注意ぶかく選択すれば、現在高性能計算向けに用いられているリッチなネットワーク構造は、分散機械学習には全く必要無いことを確認した。
2)効率的なメモリシステム利用の方法としては、Apache Sparkを用いた機械学習システムを例に取り、中間データの効率的な配置に関する研究を進めた。特に中間データを書き出す先を、ディスクではなく隣接計算機のメモリにすることで、大幅に計算を高速化できることを確認した。さらにメモリサーバにに対して計算の一部をオフロードすることでさらに計算を高速化できることを確認した。
3)利用する機械学習アルゴリズムの研究としては、並列強化学習アルゴリズムと、画像の時間補完の研究を進めた。並列強化学習アルゴリズムとしては、複数のレイヤで構成された構造を持つアルゴリズムを前提に、各レイヤ内での並列実行の検討を進めた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
大規模機械学習に適したネットワーク構造の研究に関しては、重要な知見が得られ、国内会議数件、2つの国際会議での発表を行うなど、十分な成果が得られたと考える。
大規模機械学習に適した効率的なメモリシステムの研究に関しては、国内発表を１件、国際ワークショップでの発表を１件行うなど十分な成果を得た。
大規模機械学習に適した機械学習アルゴリズムの研究に関しては、国内発表を数件行うなど十分な成果を得た
|
| Strategy for Future Research Activity |
2018年度には、３つの方向から研究を推進していく。1) データ並列機械学習システムに適したネットワーク構造の研究、2)大規模並列機械学習システムの構築、 3)大規模機械学習システムを利用する機械学習アルゴリズムの検討の３つである。
1) ネットワーク構造の研究に関しては、シミュレーションをベースにした研究をさらにすすめる。特にこれまでは検討してこなかった、リング状に通信を行うパラメータ交換手法を実装した場合の性能評価を中心に検討をすすめる。
2) 本年度は大規模並列機械学習システムの構築を行う。これにはカリフォルニア大学バークレイ校で開発されたPython状の分散実行フレームワークRayを用いる。Rayは高性能並列環境での実行を考慮せずに設計されているため、この点を補間する形で研究を行う。さらに、非同期な大規模機械学習につきものの、勾配の遅延に関しても研究を進める予定である。また、機械学習システムをパイプライン的に並列に結合するフレームワークの構築を行う。
3) 機械学習アルゴリズムの研究に関しては、並列階層化強化学習を主軸に、画像生成における応用を行って行く。
|
| Causes of Carryover |
参加を予定していた会議への参加が、日程の関係で取りやめになったため差額が生じた。
本年度に代替となる会議へ参加する予定である。
|
Research Products
(11 results)
