• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

An Implementation of Scalable and High Performance Multidimensional Data Store

Research Project

Project/Area Number 18H03242
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 60080:Database-related
Research InstitutionTokyo Institute of Technology

Principal Investigator

宮崎 純  東京工業大学, 情報理工学院, 教授 (40293394)

Co-Investigator(Kenkyū-buntansha) 波多野 賢治  同志社大学, 文化情報学部, 教授 (80314532)
中村 匡秀  神戸大学, システム情報学研究科, 准教授 (30324859)
Project Period (FY) 2018-04-01 – 2022-03-31
Project Status Granted (Fiscal Year 2021)
Budget Amount *help
¥17,290,000 (Direct Cost: ¥13,300,000、Indirect Cost: ¥3,990,000)
Fiscal Year 2021: ¥3,380,000 (Direct Cost: ¥2,600,000、Indirect Cost: ¥780,000)
Fiscal Year 2020: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2019: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2018: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
Keywords高次元データ / グラフデータ / データストア / データ要約 / 多次元データ / 分散データベース / 時制グラフデータ / 知識グラフ / 集約演算 / 近似計算 / グラフ処理 / 多次元データ基盤 / クラウドストレージ / 関係データベース / グラフデータベース / ミドルウェア
Outline of Annual Research Achievements

本研究は、大規模多次元データの容易な維持管理ならびに利用が可能なシステムの実現を目的とする。関係データベース(RDB)とクラウドストレージ(NoSQL)の個々の実装に依存せずに各々の利点どうしを相補的に活用するために、個々のRDBやNoSQLを抽象化してミドルウェアで協調動作させ、スケーラブルな多次元データ基盤を実現する。これにより、大規模かつ多種多様、例えばグラフを含む多次元データに対しても、複雑な問い合わせ処理を可能にする。
本年度は、(1)NoSQL型のグラフデータストアでの典型的なグラフ処理、すなわちパス問い合わせと大域的なグラフ処理を両立させるシステムの構成方法、(2)大規模グラフの分散処理ならびにその負荷分散法、(3)時間経過とともに構造が変化する大規模グラフの管理手法、(4)多次元データ基盤の応用に関する研究を実施した。
(1)に関しては、グラフ構造を維持する典型的なデータ構造から、大域的なグラフ処理に必須なフィールドをシーケンシャルアクセスに適したパーティションに分離することで、性質の異なるグラフ処理に対応した。小規模な評価実験により、一つのシステムで異なるグラフ処理が効率的に実行できることを示した。(2)に関しては、大規模データを複数の部分グラフに分割し、各計算ノード間で部分グラフを交換することで、計算ノード間の負荷を分散させる手法を提案し、既存手法よりも負荷均衡状態に早く収束させることが可能であることを実験的に示した。(3)については、時間ごとに混雑度の異なる道路網を例に取り、RDBとグラフデータストアを組み合わせる手法を提案し、効率良く問い合わせ処理ができることを明らかにした。(4)については知識グラフ、オントロジのような知識処理のためのグラフデータを利用して、より精度の高い情報推薦やオントロジの自動拡張を行う手法について研究成果を得た。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究は、単一のシステムの内部に手を加えてスケーラブルにする方法とは異なり、ソフトウェア自体のメンテナンスのしやすさに利点がある。その半面、複数のシステムの利点・欠点の解析、ならびにAPIの抽象化に難しさがある。このような問題点を踏まえて研究を進めていく必要がある。
本年度は、これまで進めてきたNoSQL型のグラフデータストアに関する研究について、大域的なグラフ処理とパス問い合わせの両方を単一システムで処理可能なアーキテクチャを提案し、異なるワークロードでのデータアクセスに対して効率よく対応できることを、プロトタイプを実装して実験的に示しており、順調に進めている。分散大規模グラフデータ処理についてもプロトタイプを作成することで16ノードのクラスタマシンで評価を行っており、既存手法よりも優れた結果を得ている。しかしながら、複数ノードでの負荷分散処理自体がまだオーバヘッドが大きく、その原因を追及していく必要がある。時間とともに構造が変化するグラフデータの管理とその問い合わせ処理については、RDBとネイティブグラフストアを組み合わせることで、容易に実現できることを明らかにしているが、道路網という特定の応用を仮定しており、その一般化が今後必要となる。以上から、グラフデータに関連する研究項目については、総じて順調に進んでいると判断できる。
応用については、知識グラフやオントロジを利用した推薦システムに焦点を絞って研究を進めており、既存手法と同等の高精度の推薦結果を出力可能なプロトタイプシステムを作成して部分的に評価を行っている。提案する推薦システムは推薦結果の説明を知識グラフやオントロジから生成できる点で、既存手法と比較してより発展的な手法であると言える。上述のとおり、応用についても順調に研究が進んでいると言える。

Strategy for Future Research Activity

今後も、グラフデータベースと関係データベースの統合方法について継続的に研究を進めるとともに、汎用グラフデータストアでの処理とその応用について研究を進める。また、関係データベースとNoSQLの統合に関しては、大規模データに対する集約演算の近似計算のさらなる高精度化について研究を進める。
近似集約演算については、精度を高めるためのカーネル密度推定を利用する手法では、計算精度の保証が不可能である。計算精度を保証するための統計に基づく手法やビットスライスに基づく手法の検討を行うことにより、多次元データにおける精度が保証される近似集約演算について研究を行って行く予定である。
グラフデータストアについては、汎用グラフ処理のためのシステムをより詳細に検討し、評価していく予定である。また分散大規模グラフ処理について、負荷分散処理のオーバヘッドを緩和するため方法について深く検討し解決していく必要がある。さらに、汎用グラフ処理システムと分散大規模グラフ処理の技術を統合して、汎用グラフ処理をスケーラブルに実行できる分散処理方式について検討を進めていく。
応用研究については、大規模グラフ処理の応用として、知識グラフを利用した推薦システムの研究の深化を目指しており、より精度の高い推薦システム構築のための枠組みに関して研究を進める予定である。また、知識グラフやオントロジを自動的に拡張していくための手法も検討しており、これにより、新しく出現した知識を活用できる応用事例の研究も同時に進めて行く予定である。

Report

(3 results)
  • 2020 Annual Research Report
  • 2019 Annual Research Report
  • 2018 Annual Research Report

Research Products

(37 results)

All 2021 2020 2019 2018

All Journal Article (15 results) (of which Peer Reviewed: 15 results,  Open Access: 8 results) Presentation (22 results) (of which Int'l Joint Research: 3 results,  Invited: 1 results)

  • [Journal Article] Automatic Terminology Extraction using A Dependency-Graph in NLP2020

    • Author(s)
      Yusuke Kimura, Kazuma Kusu, Kenji Hatano, Tokiya Baba
    • Journal Title

      Proc. of the 9th World Congress on Information and Communication Technologies

      Volume: -

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] xtracting and Evaluating Personal Interests with Dialogue Agent2020

    • Author(s)
      Yuki Tokuda, Masahide Nakamura, Sachio Saiki, and Kiyoshi Yasuda
    • Journal Title

      proc. of Digital Human Modeling and Applications in Health, Safety, Ergonomics and Risk Management. Posture, Motion and Health

      Volume: LNCS 12198 Pages: 592-608

    • DOI

      10.1007/978-3-030-49904-4_44

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Fine-Grained Map Coloring Web Service for JavaScript2020

    • Author(s)
      Nakai Tetsuya、Saiki Sachio、Nakamura Masahide
    • Journal Title

      Proc. of Digital Human Modeling and Applications in Health, Safety, Ergonomics and Risk Management. Human Communication, Organization and Work

      Volume: - Pages: 159-174

    • DOI

      10.1007/978-3-030-49907-5_11

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] A Model-Agnostic Recommendation Explanation System Based on Knowledge Graph2020

    • Author(s)
      Chen Yuhao、Miyazaki Jun
    • Journal Title

      Proceedings of the 31st International Conference on Database and Expert Systems Applications

      Volume: - Pages: 149-163

    • DOI

      10.1007/978-3-030-59051-2_10

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Accurate Aggregation Query-Result Estimation and Its Efficient Processing on Distributed Key-Value Store2019

    • Author(s)
      Yuki Kosuke、Keyaki Atsushi、Miyazaki Jun、Nakamura Masahide
    • Journal Title

      Proceedings of 21st International Conference on Big Data Analytics and Knowledge Discovery

      Volume: - Pages: 310-320

    • DOI

      10.1007/978-3-030-27520-4_22

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Recurrent Path Index for Efficient Graph Traversal2019

    • Author(s)
      Kusu Kazuma、Hatano Kenji
    • Journal Title

      Proceedings of 2019 IEEE International Conference on Big Data

      Volume: - Pages: 6107-6109

    • DOI

      10.1109/bigdata47090.2019.9006295

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Analyzing street crimes in Kobe city using PRISM2019

    • Author(s)
      Kagawa Takuhiro、Saiki Sachio、Nakamura Masahide
    • Journal Title

      International Journal of Web Information Systems (IJWIS)

      Volume: 14 Pages: 1-16

    • DOI

      10.1108/ijwis-04-2018-0032

    • NAID

      120006873064

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Implementation and Evaluation of Personal Ontology Building System with Virtual Agent2019

    • Author(s)
      Nakatani Shota、Saiki Sachio、Nakamura Masahide、Yasuda Kiyoshi
    • Journal Title

      Proc. of Digital Human Modeling and Applications in Health, Safety, Ergonomics and Risk Management. Healthcare Applications

      Volume: - Pages: 391-403

    • DOI

      10.1007/978-3-030-22219-2_30

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Efficient Aggregation Query Processing for Large-Scale Multidimensional Data by Combining RDB and KVS2018

    • Author(s)
      Watari Yuya、Keyaki Atsushi、Miyazaki Jun、Nakamura Masahide
    • Journal Title

      Database and Expert Systems Applications

      Volume: ー Pages: 134-149

    • DOI

      10.1007/978-3-319-98809-2_9

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Journal Article] GPU上のMapReduceを利用した大規模データ処理の最適化2018

    • Author(s)
      柳本晟熈, 欅 惇志, 宮崎 純
    • Journal Title

      情報処理学会論文誌データベース(TOD)

      Volume: 11 Pages: 23-34

    • NAID

      170000149813

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Journal Article] A Contextual Random Walk Model for Automated Playlist Generation2018

    • Author(s)
      Ueda Seiji、Keyaki Atsushi、Miyazaki Jun
    • Journal Title

      Proceedings of 2018 IEEE/WIC/ACM International Conference on Web Intelligence

      Volume: ー Pages: 367-374

    • DOI

      10.1109/wi.2018.00-66

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Combining Two Types of Database System for Managing Property Graph Data2018

    • Author(s)
      Kusu Kazuma、Hatano Kenji
    • Journal Title

      Proceedings of 2018 IEEE International Conference on Big Data

      Volume: ー Pages: 5349-5351

    • DOI

      10.1109/bigdata.2018.8622050

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Using Non-Intrusive Environmental Sensing for Adls Recognition in One-Person Household2018

    • Author(s)
      Long Niu, Sachio Saiki, and Masahide Nakamura
    • Journal Title

      International Journal of Software Innovation

      Volume: 6 Pages: 16-29

    • DOI

      10.4018/ijsi.2018100102

    • NAID

      120006882494

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Log4Care: Unified Event Logging Service for Personalized Care2018

    • Author(s)
      Haruhisa Maeda, Sachio Saiki, Masahide Nakamura, Kiyoshi Yasuda
    • Journal Title

      Proceedings of Digital Human Modeling 2018 (DHM 2018)

      Volume: ー Pages: 466-477

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Journal Article] A Study of Practical Education Program on AI, Big Data, and Cloud Computing through Development of Automatic Ordering System2018

    • Author(s)
      Saiki Sachio、Fukuyasu Naoki、Ichikawa Kohei、Kanda Tetsuya、Nakamura Masahide、Matsumoto Shinsuke、Yoshida Shinichi、Kusumoto Shinji
    • Journal Title

      Proceedings of 2018 IEEE/ACIS 3rd International Conference on Big Data, Cloud Computing, Data Science & Engineering

      Volume: ー Pages: 31-36

    • DOI

      10.1109/bcd2018.2018.00013

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Presentation] Flat vs. Hierarchical: Classification Approach for Automatic Ontology Extension2021

    • Author(s)
      Natasha Christabelle Santosa, Jun Miyazaki, Hyoil Han
    • Organizer
      第13回データ工学と情報マネジメントに関するフォーラム(DEIM2021)
    • Related Report
      2020 Annual Research Report
  • [Presentation] Mutual Learning between Reviews and Ratings for Recommendation with Knowledge-based Neural Network2021

    • Author(s)
      Yun Liu, Jun Miyazaki
    • Organizer
      第13回データ工学と情報マネジメントに関するフォーラム(DEIM2021)
    • Related Report
      2020 Annual Research Report
  • [Presentation] Evaluation and Analysis of Graph Navigation query in Edge Streaming Database2021

    • Author(s)
      Tarek Aoukar, Jun Miyazaki
    • Organizer
      第13回データ工学と情報マネジメントに関するフォーラム(DEIM2021)
    • Related Report
      2020 Annual Research Report
  • [Presentation] 同期的な分散グラフ処理におけるサブグラフ単位での負荷分散手法2021

    • Author(s)
      山口航, 宮崎純
    • Organizer
      第13回データ工学と情報マネジメントに関するフォーラム(DEIM2021)
    • Related Report
      2020 Annual Research Report
  • [Presentation] 並列プリミティブを活用したGPU上でのSQL/Row Pattern Recognitionの処理手法2021

    • Author(s)
      大原翼, 宮崎純
    • Organizer
      第13回データ工学と情報マネジメントに関するフォーラム(DEIM2021)
    • Related Report
      2020 Annual Research Report
  • [Presentation] 複雑ネットワークにおける効率的な反復走査のための経路索引構築法2020

    • Author(s)
      楠 和馬, 波多野 賢治
    • Organizer
      情報処理学会データベースシステム研究会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 知識グラフを利用した協調フィルタリングにおけるユーザ間の類似度について2020

    • Author(s)
      岸嘉丸, 宮崎純
    • Organizer
      第12回データ工学と情報マネジメントに関するフォーラム(DEIM2020)
    • Related Report
      2019 Annual Research Report
  • [Presentation] 未知スコア関数に対するTop-k検索アルゴリズムの提案2020

    • Author(s)
      池田達樹, 宮崎純
    • Organizer
      第11回ソーシャルコンピューティングシンポジウム
    • Related Report
      2019 Annual Research Report
  • [Presentation] 部分グラフ検索高速化のためのハブ節点を考慮した関係辺の再帰走査法2020

    • Author(s)
      楠 和馬, 波多野 賢治
    • Organizer
      第12回データ工学と情報マネジメントに関するフォーラム(DEIM2020)
    • Related Report
      2019 Annual Research Report
  • [Presentation] クエリログの部分的利用を考慮したグラフの集約演算高速化2020

    • Author(s)
      平方 俊行, 楠 和馬, 波多野 賢治
    • Organizer
      第12回データ工学と情報マネジメントに関するフォーラム(DEIM2020)
    • Related Report
      2019 Annual Research Report
  • [Presentation] High Performance Data Processing for Big Data2019

    • Author(s)
      Jun Miyazaki
    • Organizer
      Korea-Japan (Japan-Korea) Database Workshop 2019
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] 知識グラフに基づくモデル独立型推薦解釈システム2019

    • Author(s)
      CHEN YUHAO, 宮崎純
    • Organizer
      電子情報通信学会データ工学研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] ネイティブグラフデータベースにおける再帰的走査の効率化に向けた経路管理方法の提案2019

    • Author(s)
      楠 和馬, 波多野 賢治
    • Organizer
      情報処理学会データベースシステム研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] グラフモデルを用いた音楽推薦におけるグラフデータベースと関係データベースを併用した計算手法について2019

    • Author(s)
      山口 航, 宮崎 純, 欅 惇志
    • Organizer
      DEIM Forum 2019
    • Related Report
      2018 Annual Research Report
  • [Presentation] 環境センサから推定される時系列行動尤度ベクトルによる行動シーケンスの推定2019

    • Author(s)
      西 高史, 欅惇志, 宮崎純
    • Organizer
      DEIM Forum 2019
    • Related Report
      2018 Annual Research Report
  • [Presentation] 属性を用いた問合せの効率化に向けたグラフデータベースシステムの併用2019

    • Author(s)
      楠 和馬,波多野 賢治
    • Organizer
      DEIM Forum 2019
    • Related Report
      2018 Annual Research Report
  • [Presentation] NoSQLによる集約演算のデータ要約手法を用いた結果推定の高精度化2018

    • Author(s)
      張 涵, 欅 惇志, 宮崎 純, 中村 匡秀
    • Organizer
      情報処理学会データベースシステム研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] GPU上のMapReduceによる大規模データ処理の最適化2018

    • Author(s)
      柳本晟熈, 欅 惇志, 宮崎 純
    • Organizer
      WebDB Forum 2018
    • Related Report
      2018 Annual Research Report
  • [Presentation] オープンデータを活用した街頭犯罪に寄与する要因の分析~気象データを例として~2018

    • Author(s)
      香川拓大,佐伯幸郎,中村匡秀
    • Organizer
      電子情報通信学会データ工学研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] ミクロな人口統計データの活用を容易化するWeb-APIの開発2018

    • Author(s)
      香川拓大,佐伯幸郎,中村匡秀
    • Organizer
      電子情報通信学会サービスコンピューティング研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] Ambulance Simulator2018

    • Author(s)
      Takuhiro Kagawa,Naoya Yabuki,Sachio Saiki,Masahide Nakamura
    • Organizer
      World Data Viz Challenge 2018 (WDVC2018)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] KOBE LOVES SPORTS2018

    • Author(s)
      Haruhisa Maeda,Daiki Takatsuki,Sachio Saiki,Masahide Nakamura
    • Organizer
      World Data Viz Challenge 2018 (WDVC2018)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2018-04-23   Modified: 2021-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi