• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

大規模機械学習のための並列計算基盤の研究

研究課題

研究課題/領域番号 16K00116
研究種目

基盤研究(C)

配分区分基金
応募区分一般
研究分野 ソフトウェア
研究機関国立研究開発法人産業技術総合研究所

研究代表者

中田 秀基  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究主幹 (80357631)

研究期間 (年度) 2016-04-01 – 2019-03-31
研究課題ステータス 完了 (2018年度)
配分額 *注記
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2018年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2017年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2016年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
キーワード分散計算 / 機械学習 / ディープラーニング / 並列計算 / 並列システム / 分散システム / 強化学習 / 分散ファイルシステム / ネットワーク構成 / 耐故障性 / IoT
研究成果の概要

大規模機械学習システムの構築に向けて、1) 大規模分散システムの構築方法、2) 大規模化した際の機械学習手法への影響、3) 機械学習アプリケーション、の3つのコンテクストで並列して研究を進めた。
1) 構築方法に関しては、シミュレータを用いてネットワーク構成と分散実装手法の関連を研究し、比較的プアなネットワークでも十分であることを定量的に示した。2) 大規模化した際の機械学習への影響については、独自に新たなシミュレータを開発して検討を行い、学習率の調整が重要であることを示した。3) 機械学習アプリケーションとしては、強化学習と画像生成の研究を進め、それぞれ成果を得た。

研究成果の学術的意義や社会的意義

ディープラーニングに代表される機械学習技術が広く普及しつつあるが、これらは大量の計算を伴うため並列分散化して実行することが非常に重要である。われわれは、大規模な並列分散機械学習システムを構成する方法に取り組み、このような計算システムを比較的安価かつ効率的に運用するために必要とされるハードウェアの構成を検討し、比較的安価なネットワークでも十分な性能が得られることを示した。さらに、パラメータを調整することで大規模に並列化しても計算の収束に影響しないように制御することが可能であることを示した。

報告書

(4件)
  • 2018 実績報告書   研究成果報告書 ( PDF )
  • 2017 実施状況報告書
  • 2016 実施状況報告書
  • 研究成果

    (29件)

すべて 2019 2018 2017 2016

すべて 雑誌論文 (9件) (うち査読あり 3件、 謝辞記載あり 3件) 学会発表 (20件) (うち国際学会 1件)

  • [雑誌論文] Storage-Side Processing for Spark with Tiered Storage2018

    • 著者名/発表者名
      Kaihui Zhang, Yusuke Tanimura, Hidemoto Nakada, Hirotaka Ogawa
    • 雑誌名

      研究報告ハイパフォーマンス・コンピューティング(HPC)2017-HPC-163(7)

      巻: 163 ページ: 1-6

    • 関連する報告書
      2017 実施状況報告書
  • [雑誌論文] A Performance Evaluation of Distributed TensorFlow2018

    • 著者名/発表者名
      Tianlun Wang, Yusuke Tanimura, Hirotaka Ogawa, Hidemoto Nakada
    • 雑誌名

      研究報告ハイパフォーマンス・コンピューティング(HPC)2017-HPC-161(1)

      巻: 161 ページ: 1-6

    • 関連する報告書
      2017 実施状況報告書
  • [雑誌論文] Toward image inbetweening using Latent Model2018

    • 著者名/発表者名
      Paulino Cristovao, Yusuke Tanimura, Hidemoto Nakada, Hideki Asoh
    • 雑誌名

      信学技法 IEICE-PRMU2017-185, vol. IEICE-117, no.514

      巻: 117 ページ: 79-84

    • 関連する報告書
      2017 実施状況報告書
  • [雑誌論文] A study on Network Structure and Parameter Exchange Method in large-scale Cluster for Machine Learning2017

    • 著者名/発表者名
      Dou Zhang, Rei Mingxi, Yusuke Tanimura, Hidemoto Nakada
    • 雑誌名

      信学技報, vol. 117, no. 153, CPSY2017-29

      巻: 117 ページ: 145-150

    • 関連する報告書
      2017 実施状況報告書
  • [雑誌論文] A Quantitative Analysis on Required Network Bandwidth for Large-Scale Parallel Machine Learning2017

    • 著者名/発表者名
      Mingxi Li, Yusuke Tanimura, Hidemoto Nakada
    • 雑誌名

      MOD 2017 - (The Third International Conference on Machine Learning, Optimization and Big Data) , LNCS vol.10710

      巻: 10710 ページ: 389-400

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり
  • [雑誌論文] Understanding and Improving Disk-based Intermediate Data Caching in Spark2017

    • 著者名/発表者名
      Kaihui Zhang, Yusuke Tanimura, Hidemoto Nakada, Hirotaka Ogawa
    • 雑誌名

      Scalable Cloud Data Management Workshop 2017 in IEEE BigData

      巻: - ページ: 2426-2435

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり
  • [雑誌論文] A Quantitative Analysis of Fault Tolerance Mechanisms for Parallel Machine Learning Systems with Parameter Servers2017

    • 著者名/発表者名
      Mingxi Li, Yuusuke Tanimura, Hidemoto Nakada
    • 雑誌名

      Proc. of ACM IMCOM 2017

      巻: -

    • 関連する報告書
      2016 実施状況報告書
    • 査読あり / 謝辞記載あり
  • [雑誌論文] Spark RDDの入出力性能の高速化に関する検討2016

    • 著者名/発表者名
      張 凱輝, 谷村 勇輔, 中田 秀基, 小川 宏高
    • 雑誌名

      信学技報

      巻: 177 ページ: 77-82

    • 関連する報告書
      2016 実施状況報告書
    • 謝辞記載あり
  • [雑誌論文] パラメータサーバを用いた並列機械学習システムにおける耐故障性のシミュレーション2016

    • 著者名/発表者名
      黎 明曦, 谷村 勇輔, 中田 秀
    • 雑誌名

      信学技報

      巻: 177 ページ: 125-130

    • 関連する報告書
      2016 実施状況報告書
    • 謝辞記載あり
  • [学会発表] A Sub-policy Pruning Method for Meta Learning Shared Hierarchies2019

    • 著者名/発表者名
      Qing Hong,Yusuke Tanimura,Hidemoto Nakada
    • 学会等名
      人工知能学会全国大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] One-shot Learning using Triplet Network with kNN classifier2019

    • 著者名/発表者名
      Zhou Mu,Yusuke Tanimura,Hidemoto Nakada
    • 学会等名
      人工知能学会全国大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Design a Loss Function which Generates a Spatial configuration of Image In-betweening2019

    • 著者名/発表者名
      Paulino Cristovao, Yusuke Tanimura, Hidemoto Nakada,Hideki Asoh
    • 学会等名
      人工知能学会全国大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Wasserstein Autoencoderを用いた画像スタイル変換2019

    • 著者名/発表者名
      中田 秀基, 麻生 英樹
    • 学会等名
      人工知能学会全国大会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] ニューラルネットワークを用いた任意人物・姿勢画像の生成2019

    • 著者名/発表者名
      中田 秀基,麻生 英樹
    • 学会等名
      電子情報通信学会 パターン認識・メディア理解研究会
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Designing Loss Function which Generate Latent Space for image in-betweening2018

    • 著者名/発表者名
      Paulino Cristovao, Hidemoto Nakada, Yusuke Tanimura, Hideki Asoh
    • 学会等名
      9th Annual Symosium of Indian Scientists association in japan
    • 関連する報告書
      2018 実績報告書
  • [学会発表] One-shot Learning using Triplet Networks with KNN2018

    • 著者名/発表者名
      Mu Zhou, Hidemoto Nakada, Yusuke Tanimura
    • 学会等名
      第21回情報論的学習理論ワークショップ(IBIS2018)ディスカッショントラック
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Designing Loss Function which Generate Latent Space for image in-betweening2018

    • 著者名/発表者名
      Paulino Cristovao, Hidemoto Nakada, Yusuke Tanimura, Hideki Asoh
    • 学会等名
      第21回情報論的学習理論ワークショップ(IBIS2018)ディスカッショントラック
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Adaptation of Ray, a distributed framework for machine learning, to MPI-based environment2018

    • 著者名/発表者名
      Tianlun WANG, Yusuke Tanimura, Hidemoto Nakada
    • 学会等名
      信学技法 IEICE-CPSY
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Asynchronous Deep Learning Test-bed to Analyze Gradient Staleness Effect2018

    • 著者名/発表者名
      Duo Zhang, Yusuke Tanimura, Hidemoto Nakada
    • 学会等名
      信学技法 IEICE-CPSY
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Sub-policy pruning in Meta Learning Shared Hierarchies2018

    • 著者名/発表者名
      Ging Hong, Yusuke Tanimura, Hidemoto Nakada
    • 学会等名
      34th meeting of the Pacific Rim Applications and Grid Middleware Assembly (PRAGMA 34)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Toward image inbetweening using Latent Model2018

    • 著者名/発表者名
      Paulino Cristovao, Yusuke Tanimura, Hidemoto Nakada, Hideki Asoh
    • 学会等名
      34th meeting of the Pacific Rim Applications and Grid Middleware Assembly (PRAGMA 34)
    • 関連する報告書
      2018 実績報告書
  • [学会発表] Sub-policy pruning in Meta Learning Shared Hierarchies2018

    • 著者名/発表者名
      Ging Hong, Yusuke Tanimura, Hidemoto Nakada
    • 学会等名
      人工知能学会汎用人工知能研究会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] Spark RDD の入出力性能の高速化2017

    • 著者名/発表者名
      張 凱輝, 谷村 勇輔, 中田 秀基, 小川 宏高
    • 学会等名
      cross-disciplinary Workshop on Computing Systems, Infrastructures, and Programming
    • 発表場所
      虎ノ門ヒルズフォーラム(東京)
    • 年月日
      2017-04-24
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] 大規模機械学習向けクラスタにおけるネットワークバンド幅とパラメータ交換手法に関する考察2017

    • 著者名/発表者名
      黎 明曦, 谷村 勇輔, 中田 秀基
    • 学会等名
      cross-disciplinary Workshop on Computing Systems, Infrastructures, and Programming
    • 発表場所
      虎ノ門ヒルズフォーラム(東京)
    • 年月日
      2017-04-24
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] Spark におけるディスクを用いた RDD キャッシングの高速化と効果的な利用に関する検討2017

    • 著者名/発表者名
      張 凱輝, 谷村 勇輔, 中田 秀基, 小川 宏高
    • 学会等名
      cross-disciplinary Workshop on Computing Systems, Infrastructures, and Programming
    • 発表場所
      虎ノ門ヒルズフォーラム(東京)
    • 年月日
      2017-04-24
    • 関連する報告書
      2016 実施状況報告書
  • [学会発表] Spark におけるディスクを用いた RDD キャッシングの高速化と 効果的な利用に関する検討2017

    • 著者名/発表者名
      張 凱輝, 谷村 勇輔, 中田 秀基, 小川 宏高
    • 学会等名
      cross-disciplinary Workshop on Computing Systems, Infrastructures, and Programming
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 大規模機械学習向けクラスタにおけるネットワーク構造とパラメータ交換手法2017

    • 著者名/発表者名
      黎 明曦, 谷村 勇輔, 中田 秀基
    • 学会等名
      cross-disciplinary Workshop on Computing Systems, Infrastructures, and Programming
    • 関連する報告書
      2017 実施状況報告書 2016 実施状況報告書
  • [学会発表] A study on the performance of DDPG (Deep Deterministic Policy Grandient)2017

    • 著者名/発表者名
      Ging Hong, Yusuke Tanimura, Hidemoto Nakada
    • 学会等名
      第20回情報論的学習理論ワークショップ ディスカッショントラック
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] How Much Should We Invest for Network Facility: Quantitative Analysis on Network 'Fatness' and Machine Learning Performance2017

    • 著者名/発表者名
      Duo Zhang, Mingxi LI, Yusuke Tanimura, Hidemoto Nakada
    • 学会等名
      Workshop on ML Systems in NIPS 2017
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会

URL: 

公開日: 2016-04-21   更新日: 2020-03-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi