2018 Fiscal Year Annual Research Report
A Study on Distributed Real-time Machine Learning Processing Infrastructure using Various Sensors and a Cloud
| Project/Area Number |
16K00177
|
|---|
| Research Institution | National Institute of Informatics |
|---|
Principal Investigator |
竹房 あつ子 国立情報学研究所, アーキテクチャ科学研究系, 准教授 (70345411)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
高野 了成 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究グループ長 (10509516)
小口 正人 お茶の水女子大学, 基幹研究院, 教授 (60328036)
中田 秀基 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究主幹 (80357631)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | クラウドコンピューティング / 分散処理 / ディープラーニング / 機械学習 / 資源管理 |
|---|
| Outline of Annual Research Achievements |
本研究は，大量のセンサデータに対し、センサ群およびクラウドの計算資源を有効活用して高精度な解析を即時に行う分散リアルタイム機械学習処理基盤を開発することを目的としている。
多種センサを配備し、それらから収集された情報をクラウドに集約して解析することが可能になってきた。一方、カメラの動画像はデータ量が膨大なためクラウドへの集約は難しく、その解析処理に必要な計算量も多いため、リアルタイムに高精度な解析を行うのは非常に困難である。よって、センサとクラウドの計算資源を活用した分散環境でディープラーニングによる高精度な機械学習処理を実現する。これにより、動画像と他のセンサデータを利用した高精度なリアルタイム解析を容易にし、様々な次世代サービスアプリケーションの創出に寄与する。
これまでの研究において、十分なネットワーク帯域がある環境では分散メッセージングシステムApache Kafkaにより画像ストリーミングデータの収集が可能であることがわかった。しかしながら、一般にリアルタイム処理基盤として利用されているApache Sparkではストリーミングデータの機械学習処理の並列化効率を上げることが困難であることが明らかとなった。
よって、今年度は機械学習のための分散実行フレームワークRayとKafkaを組み合わせた分散ストリーム処理基盤を構築した。評価実験から、従来手法により低遅延かつ高いスケーラビリティを持つ処理基盤が構築できることを示した。本研究の成果は、査読付き国際会議2件(うち1件ポスター)、国内の研究会等で6件の発表を行った。
|
