ストリーム処理とデータ分析処理を統合した戦略的データ活用基盤の開発

• 研究課題/領域番号: 24700111
• 研究種目: 若手研究(B)
• 配分区分: 基金
• 研究分野: メディア情報学・データベース
• 研究機関: 独立行政法人産業技術総合研究所
• 研究代表者: 油井 誠 独立行政法人産業技術総合研究所, 情報技術研究部門, 主任研究員 (10586712)
• 研究期間 (年度): 2012-04-01 – 2015-03-31
• 研究課題ステータス: 完了 (2014年度)
• 配分額: 4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円); 2014年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円); 2013年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円); 2012年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
• キーワード: 機械学習 / ビッグデータ / データベース / 関係データベース / オンライン学習 / 確率的勾配降下法 / MapReduce / 並列処理

研究成果の概要

本研究では、データベースとHadoopをハイブリッドに利用したスケーラブルな機械学習手法を開発した。バッチ学習をHadoop上で行い、逐次的な学習処理を関係データベースの一種であるPostgreSQL上で行う。
KDD Cup 2012, Track 2の商用広告データセットを用いた回帰分析タスクで提案手法の有効性の評価を行い、State-of-the-artな機械学習フレームワーク（Vowpal Wabbit、Bismarck）等の比較を行い、Vowpal Wabbitに対して5倍、Bismarckに対して5倍から7.65倍の学習速度が得られるという結果を得た。

研究成果

• [雑誌論文] Apache Hiveを用いたスケーラブルな機械学習機構の構築 (2015)
  • 著者名/発表者名: 油井誠, 小島功
  • 雑誌名: 情報処理学会論文誌: データベース 巻: 8 ページ: 73-87
  • NAID: 110009886573
  • 査読あり / 謝辞記載あり
• [雑誌論文] A Database-Hadoop Hybrid Approach to Scalable Machine Learning (2013)
  • 著者名/発表者名: Makoto Yui, Isao Kojima
  • 雑誌名: Proc. IEEE 2nd International Congress on Big Data, July 2013. 巻: － ページ: 1-8
  • DOI: 10.1109/bigdata.congress.2013.10
  • 査読あり
• [学会発表] Hivemall: Apache Hiveを用いたスケーラブルな機械学習ライブラリ (2014)
  • 著者名/発表者名: 油井誠
  • 学会等名: 第26回コンピュータシステム・シンポジウム（ComSys2014）
  • 発表場所: 芝浦工業大学 豊洲キャンパス（東京都）
  • 年月日: 2014-11-19 – 2014-11-20
  • 招待講演
• [学会発表] Hivemall: Apache Hiveを用いたスケーラブルな機械学習基盤 (2014)
  • 著者名/発表者名: 油井誠
  • 学会等名: 第20回先端的データベースとWeb技術動向講演会 （ACM SIGMOD 日本支部第57回支部大会）
  • 発表場所: リコーITソリューションズ株式会社 本社事業所42F大会議室（東京都）
  • 年月日: 2014-10-04
  • 招待講演
• [学会発表] Hivemall: Scalable Machine Learning Library for Apache Hive (2014)
  • 著者名/発表者名: Makoto Yui
  • 学会等名: Hadoop Summit 2014
  • 発表場所: San Jose Convention Center（San Jose, CA, USA）
  • 年月日: 2014-06-09 – 2014-06-11
• [学会発表] Hivemall: Scalable Machine Learning Library for Apache Hive (2014)
  • 著者名/発表者名: Makoto Yui
  • 学会等名: Hadoop summit 2013
  • 発表場所: San Jose, CA, USA
• [学会発表] A Database-Hadoop Hybrid Approach to Scalable Machine Learning (2013)
  • 著者名/発表者名: Makoto Yui, Isao Kojima
  • 学会等名: IEEE 2nd International Congress on Big Data
  • 発表場所: Santa Clara, CA, USA
• [学会発表] Hivemall: Hive scalable machine learning library (2013)
  • 著者名/発表者名: Makoto Yui, Isao Kojima
  • 学会等名: NIPS 2013 Workshop on Machine Learning Open Source Software: Towards Open Workflows
  • 発表場所: Lake Tahoe, Nevada, USA
• [学会発表] A Hybrid Approach to Linked Data Query Processing with Time Constraints (2013)
  • 著者名/発表者名: Steven Lynden , Isao Kojima , Akiyoshi Matono , Akihito Nakamura , Makoto Yui
  • 学会等名: The 6th Workshop on Linked Data on the Web (LDOW2013)
  • 発表場所: Rio de Janeiro, Brazil
• [学会発表] MapReduceによる確率的勾配降下法を用いた広告クリック率予測の実践 (2012)
  • 著者名/発表者名: 後藤 康路、油井 誠、横山 昌平、小島 功、石川 博
  • 学会等名: 第155回データベースシステム研究発表会
  • 発表場所: 東京都・秋葉原
• [備考] Hivemall: Hive scalable machine learning library
  • URL: https://github.com/myui/hivemall