• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

A Study on Distributed Real-time Machine Learning Processing Infrastructure using Various Sensors and a Cloud

Research Project

Project/Area Number 16K00177
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Research Field High performance computing
Research InstitutionNational Institute of Informatics

Principal Investigator

Takefusa Atsuko  国立情報学研究所, アーキテクチャ科学研究系, 准教授 (70345411)

Co-Investigator(Kenkyū-buntansha) 高野 了成  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究グループ長 (10509516)
小口 正人  お茶の水女子大学, 基幹研究院, 教授 (60328036)
中田 秀基  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究主幹 (80357631)
Project Period (FY) 2016-04-01 – 2019-03-31
Project Status Completed (Fiscal Year 2018)
Budget Amount *help
¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2018: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2017: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2016: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Keywordsクラウドコンピューティング / 分散処理 / ディープラーニング / 機械学習 / 資源管理 / 機械学習処理基盤 / センサ
Outline of Final Research Achievements

It has become possible to deploy various sensors and aggregate and analyze their sensor information in a cloud. But, it is very difficult to perform high-accuracy analysis in real time because the amount of the video data captured by cameras is too huge to be transferred to the cloud, and the amount of calculation required for the analysis is also large.
Therefore, we develop technologies for distributed real-time machine learning processing to achieve high-accuracy and high-throughput analysis by effectively using the computational resources of sensors and the cloud.

Academic Significance and Societal Importance of the Research Achievements

本研究で開発した分散リアルタイム機械学習処理基盤技術により、大量の動画像データと他のセンサデータを利用した高精度なリアルタイム解析が可能になり、様々なサービスアプリケーションの創出に寄与することができる。

Report

(4 results)
  • 2018 Annual Research Report   Final Research Report ( PDF )
  • 2017 Research-status Report
  • 2016 Research-status Report
  • Research Products

    (39 results)

All 2019 2018 2017 2016

All Journal Article (9 results) (of which Peer Reviewed: 3 results,  Open Access: 3 results,  Acknowledgement Compliant: 7 results) Presentation (30 results) (of which Int'l Joint Research: 8 results)

  • [Journal Article] Construction Scheme of a Scalable Distributed Stream Processing Infrastructure Using Ray and Apache Kafka2019

    • Author(s)
      Kasumi Kato, Atsuko Takefusa, Hidemoto Nakada and Masato Oguchi
    • Journal Title

      Proc. the 34th ISCA International Conference on Computers and Their Applications (CATA 2019)

      Volume: 58 Pages: 368-377

    • DOI

      10.29007/8lbk

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Performance Evaluation of Pipeline-Based Processing for the Caffe Deep Learning Framework2018

    • Author(s)
      Ayae ICHINOSE, Atsuko TAKEFUSA, Hidemoto NAKADA, Masato OGUCHI
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E101.D Issue: 4 Pages: 1042-1052

    • DOI

      10.1587/transinf.2017DAP0015

    • NAID

      130006602298

    • ISSN
      0916-8532, 1745-1361
    • Related Report
      2017 Research-status Report
    • Peer Reviewed
  • [Journal Article] Pipeline-Based Processing of the Deep Learning Framework Caffe2017

    • Author(s)
      Ayae Ichinose, Atsuko Takefusa, Hidemoto Nakada, Masato Oguchi
    • Journal Title

      Proc. ACM IMCOM 2017

      Volume: 97 Pages: 1-8

    • DOI

      10.1145/3022227.3022323

    • Related Report
      2016 Research-status Report
    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] 大規模データ分散処理プラットフォームApache Sparkを用いた分散並列機械学習の検討2017

    • Author(s)
      加藤香澄,竹房あつ子,中田秀基,小口正人
    • Journal Title

      情報処理学会第79回全国大会論文集

      Volume: 3S-09 Pages: 1-2

    • NAID

      170000174896

    • Related Report
      2016 Research-status Report
    • Acknowledgement Compliant
  • [Journal Article] 大規模データ処理フレームワークのストリーミング機能を利用した機械学習処理の検討2017

    • Author(s)
      一瀬絢衣,竹房あつ子,中田秀基,小口正人
    • Journal Title

      情報処理学会第79回全国大会論文集

      Volume: 3S-08 Pages: 1-2

    • NAID

      170000174895

    • Related Report
      2016 Research-status Report
    • Acknowledgement Compliant
  • [Journal Article] 大規模データ分散処理プラットフォームApache Sparkを用いた分散並列機械学習に関する考察2017

    • Author(s)
      加藤 香澄,竹房 あつ子,中田 秀基,小口 正人
    • Journal Title

      DEIM Forum 2017論文集

      Volume: H4-3 Pages: 1-6

    • Related Report
      2016 Research-status Report
    • Open Access / Acknowledgement Compliant
  • [Journal Article] 大規模データ処理フレームワークのストリーミング機能を利用した機械学習処理の評価2017

    • Author(s)
      一瀬 絢衣,竹房 あつ子,中田 秀基,小口 正人
    • Journal Title

      DEIM Forum 2017論文集

      Volume: B3-2 Pages: 1-5

    • Related Report
      2016 Research-status Report
    • Open Access / Acknowledgement Compliant
  • [Journal Article] Evaluation of Distributed Processing Evaluation Distributed Processing of Caffe Framework Using Poor Performance Device2016

    • Author(s)
      Ayae Ichinose, Atsuko Takefusa, Hidemoto Nakada, Masato Oguchi
    • Journal Title

      Proc. IEEE BigData 2016 (Poster)

      Volume: - Pages: 3980-3982

    • DOI

      10.1109/bigdata.2016.7841082

    • Related Report
      2016 Research-status Report
    • Acknowledgement Compliant
  • [Journal Article] ディープラーニングフレームワークCaffeの分散処理の評価2016

    • Author(s)
      一瀬 絢衣, 竹房 あつ子, 中田 秀基, 小口 正人
    • Journal Title

      DICOMO2016論文集

      Volume: 8A-4 Pages: 1-5

    • NAID

      170000174048

    • Related Report
      2016 Research-status Report
    • Acknowledgement Compliant
  • [Presentation] Construction Scheme of a Scalable Distributed Stream Processing Infrastructure Using Ray and Apache Kafka2019

    • Author(s)
      Kasumi Kato, Atsuko Takefusa, Hidemoto Nakada and Masato Oguchi
    • Organizer
      34th ISCA International Conference on Computers and Their Applications (CATA 2019)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 姿勢推定ライブラリOpenPoseを用いた機械学習による動作識別手法の比較2019

    • Author(s)
      高崎 智香子, 竹房 あつ子, 中田 秀基, 小口 正人
    • Organizer
      情報処理学会 第81会全国大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] スケーラブルな分散ストリーム処理基盤の検討と構築2019

    • Author(s)
      加藤 香澄, 竹房 あつ子, 中田 秀基, 小口 正人
    • Organizer
      情報処理学会 第81会全国大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 姿勢推定ライブラリOpenPoseを用いた機械学習による動作識別手法の検討2019

    • Author(s)
      高崎 智香子, 竹房 あつ子, 中田 秀基, 小口 正人
    • Organizer
      第11回データ工学と情報マネジメントに関するフォーラム(DEIM2019)
    • Related Report
      2018 Annual Research Report
  • [Presentation] スケーラブルな分散ストリーム処理基盤の構築と評価2019

    • Author(s)
      加藤 香澄, 竹房 あつ子, 中田 秀基, 小口 正人
    • Organizer
      第11回データ工学と情報マネジメントに関するフォーラム(DEIM2019)
    • Related Report
      2018 Annual Research Report
  • [Presentation] A Study of a Scalable Distributed Stream Processing Infrastructure Using Ray and Apache Kafka2018

    • Author(s)
      Kasumi Kato, Atsuko Takefusa, Hidemoto Nakada, and Masato Oguchi
    • Organizer
      IEEE BigData 2018 (Poster)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 大規模データ分散処理基盤におけるパラメータ制御の一検討2018

    • Author(s)
      加藤 香澄, 竹房 あつ子, 中田 秀基, 小口 正人
    • Organizer
      DICOMO2018シンポジウム
    • Related Report
      2018 Annual Research Report
  • [Presentation] Kafka を利用したリアルタイム動画像解析フレームワークのレプリケーションによる性能変化の考察2018

    • Author(s)
      一瀬 絢衣,竹房 あつ子,中田 秀基,小口 正人
    • Organizer
      xSIG 2018
    • Related Report
      2018 Annual Research Report
  • [Presentation] ビックデータ分散処理基盤を用いたタスク並列化におけるパラメータ制御の考察2018

    • Author(s)
      加藤香澄,竹房あつ子,中田秀基,小口正人
    • Organizer
      情報処理学会第80回全国大会
    • Related Report
      2017 Research-status Report
  • [Presentation] KafkaとSpark Streamingを利用したリアルタイム動画像解析フレームワークの評価2018

    • Author(s)
      一瀬 絢衣,竹房 あつ子,中田 秀基,小口 正人
    • Organizer
      情報処理学会第80回全国大会
    • Related Report
      2017 Research-status Report
  • [Presentation] Kafkaを利用したリアルタイム動画像解析フレームワークのレプリケーションによる性能変化の調査2018

    • Author(s)
      一瀬 絢衣,竹房 あつ子,中田 秀基,小口 正人
    • Organizer
      第10回データ工学と情報マネジメントに関するフォーラム(DEIM2018)
    • Related Report
      2017 Research-status Report
  • [Presentation] ビッグデータ分散処理基盤におけるパラメータ制御の一検討2018

    • Author(s)
      加藤香澄,竹房あつ子,中田秀基,小口正人
    • Organizer
      第10回データ工学と情報マネジメントに関するフォーラム(DEIM2018)
    • Related Report
      2017 Research-status Report
  • [Presentation] 大規模データ分散処理プラットフォームApache Sparkを用いた分散並列機械学習の検討2017

    • Author(s)
      加藤香澄,竹房あつ子,中田秀基,小口正人
    • Organizer
      情報処理学会第79回全国大会
    • Place of Presentation
      名古屋市、愛知県
    • Year and Date
      2017-03-17
    • Related Report
      2016 Research-status Report
  • [Presentation] 大規模データ処理フレームワークのストリーミング機能を利用した機械学習処理の検討2017

    • Author(s)
      一瀬絢衣,竹房あつ子,中田秀基,小口正人
    • Organizer
      情報処理学会第79回全国大会
    • Place of Presentation
      名古屋市、愛知県
    • Year and Date
      2017-03-17
    • Related Report
      2016 Research-status Report
  • [Presentation] 大規模データ分散処理プラットフォームApache Sparkを用いた分散並列機械学習に関する考察2017

    • Author(s)
      加藤 香澄,竹房 あつ子,中田 秀基,小口 正人
    • Organizer
      DEIM Forum 2017
    • Place of Presentation
      高山市、岐阜県
    • Year and Date
      2017-03-07
    • Related Report
      2016 Research-status Report
  • [Presentation] 大規模データ処理フレームワークのストリーミング機能を利用した機械学習処理の評価2017

    • Author(s)
      一瀬 絢衣,竹房 あつ子,中田 秀基,小口 正人
    • Organizer
      DEIM Forum 2017
    • Place of Presentation
      高山市、岐阜県
    • Year and Date
      2017-03-07
    • Related Report
      2016 Research-status Report
  • [Presentation] Pipeline-Based Processing of the Deep Learning Framework Caffe2017

    • Author(s)
      Ayae Ichinose, Atsuko Takefusa, Hidemoto Nakada, Masato Oguchi
    • Organizer
      ACM IMCOM 2017
    • Place of Presentation
      Beppu, Japan
    • Year and Date
      2017-01-06
    • Related Report
      2016 Research-status Report
    • Int'l Joint Research
  • [Presentation] A Study of a Video Analysis Framework Using Kafka and Spark Streaming2017

    • Author(s)
      Ayae Ichinose, Atsuko Takefusa, Hidemoto NAKADA, Masato Oguchi
    • Organizer
      Second Workshop on Real-time & Stream Analytics in IEEE Big Data
    • Related Report
      2017 Research-status Report
    • Int'l Joint Research
  • [Presentation] 大規模データ分散プラットフォームApache Sparkにおけるタスク並列化に関する検討2017

    • Author(s)
      加藤香澄,竹房あつ子,中田秀基,小口正人
    • Organizer
      モバイルネットワークとアプリケーション研究会(MoNA)
    • Related Report
      2017 Research-status Report
  • [Presentation] KafkaとSpark Streamingを利用したリアルタイム動画像解析フレームワークの構成検討2017

    • Author(s)
      一瀬 絢衣,竹房 あつ子,中田 秀基,小口 正人
    • Organizer
      モバイルネットワークとアプリケーション研究会(MoNA)
    • Related Report
      2017 Research-status Report
  • [Presentation] Consideration of Parallel Data Processing over an Apache Spark Cluster2017

    • Author(s)
      Kasumi Kato, Atsuko Takefusa, Hidemoto Nakada, Masato Oguchi
    • Organizer
      IEEE BigData (Poster)
    • Related Report
      2017 Research-status Report
    • Int'l Joint Research
  • [Presentation] ビッグデータ処理基盤Apache Sparkのストリーミング機能を利用したセンサデータ解析フレームワークの検討2017

    • Author(s)
      一瀬 絢衣,竹房 あつ子,中田 秀基,小口 正人
    • Organizer
      DICOMO2017
    • Related Report
      2017 Research-status Report
  • [Presentation] ビッグデータ分散処理基盤を用いた機械学習処理並列化に関する一考察2017

    • Author(s)
      加藤 香澄, 竹房 あつ子, 中田 秀基, 小口 正人
    • Organizer
      DICOMO2017
    • Related Report
      2017 Research-status Report
  • [Presentation] Evaluating the power efficiency of deep learning inference on embedded GPU systems2017

    • Author(s)
      K. Rungsuptaweekoon, V. Visoottiviseth and R. Takano
    • Organizer
      2017 2nd International Conference on Information Technology (INCIT)
    • Related Report
      2017 Research-status Report
    • Int'l Joint Research
  • [Presentation] ディープラーニングフレームワーク Caffe の分散処理における多種クライアントを用いた比較2017

    • Author(s)
      一瀬 絢衣, 竹房 あつ子, 中田 秀基, 小口 正人
    • Organizer
      xSIG 2017
    • Related Report
      2017 Research-status Report
  • [Presentation] Apache Spark のストリーミング機能を利用した機械学習処理の検討2017

    • Author(s)
      一瀬 絢衣, 竹房 あつ子, 中田 秀基, 小口 正人
    • Organizer
      xSIG 2017 (Poster)
    • Related Report
      2017 Research-status Report
  • [Presentation] ビッグデータ分散処理基盤を用いた機械学習処理並列化の一検討2017

    • Author(s)
      加藤香澄,竹房あつ子,中田秀基,小口正人
    • Organizer
      xSIG 2017 (Poster)
    • Related Report
      2017 Research-status Report
  • [Presentation] Evaluation of Distributed Processing Evaluation Distributed Processing of Caffe Framework Using Poor Performance Device2016

    • Author(s)
      Ayae Ichinose, Atsuko Takefusa, Hidemoto Nakada, Masato Oguchi
    • Organizer
      IEEE BigData 2016 (Poster)
    • Place of Presentation
      Washington D.C., USA
    • Year and Date
      2016-12-06
    • Related Report
      2016 Research-status Report
    • Int'l Joint Research
  • [Presentation] ディープラーニングフレームワークCaffeの分散処理の評価2016

    • Author(s)
      一瀬 絢衣, 竹房 あつ子, 中田 秀基, 小口 正人
    • Organizer
      DICOMO2016
    • Place of Presentation
      鳥羽市、三重県
    • Year and Date
      2016-07-06
    • Related Report
      2016 Research-status Report
  • [Presentation] Evaluation of Distributed Processing of the Deep Learning Framework Caffe2016

    • Author(s)
      Ayae Ichinose, Atsuko Takefusa, Hidemoto Nakada, Masato Oguchi
    • Organizer
      ACM HPDC 2016 (Poster)
    • Place of Presentation
      Kyoto, Japan
    • Year and Date
      2016-06-02
    • Related Report
      2016 Research-status Report
    • Int'l Joint Research

URL: 

Published: 2016-04-21   Modified: 2020-03-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi