• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

End-to-End Big Data Approximate Processing with Quality Assurance

Research Project

Project/Area Number 23K24850
Project/Area Number (Other) 22H03594 (2022-2023)
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeMulti-year Fund (2024)
Single-year Grants (2022-2023)
Section一般
Review Section Basic Section 60080:Database-related
Research InstitutionNagoya University

Principal Investigator

石川 佳治  名古屋大学, 情報学研究科, 教授 (80263440)

Co-Investigator(Kenkyū-buntansha) 杉浦 健人  名古屋大学, 情報学研究科, 助教 (10821663)
駒水 孝裕  名古屋大学, 数理・データ科学教育研究センター, 准教授 (30756367)
Project Period (FY) 2022-04-01 – 2026-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥17,160,000 (Direct Cost: ¥13,200,000、Indirect Cost: ¥3,960,000)
Fiscal Year 2025: ¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2024: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000)
Fiscal Year 2023: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2022: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Keywords近似的問合せ / 問合せ処理 / 品質保証 / ビッグデータ処理 / データベースシステム / データの品質 / データストリーム
Outline of Research at the Start

近年大いに着目されている近似的問合せのアプローチをビッグデータ処理のワークフロー全体に展開する,End-to-Endの近似的ビッグデータ処理の技術を確立する.コンパクトな要約情報を活用することと,ビッグデータ処理プロセスを通じて近似的データ処理の統合モデルを用いることで,従来型のビッグデータ処理に比べ大幅な速度向上を達成し,システム全体での近似品質の統一的な管理を可能とする.また,近似の品質と処理効率のトレードオフを適切に制御できることが重要であるため,本研究では求められた近似品質を満たすようにビッグデータ処理のワークフローを制御する品質駆動型の近似的データ処理技術を開発する.

Outline of Annual Research Achievements

本研究は,(A)近似的データ処理の統合モデルの開発,(B)機械学習を導入した近似的データ処理法の開発,(C)ビッグデータ処理システムにおけるEnd-to-End近似処理技術の開発,(D)品質駆動型の近似的データ処理技術の開発,(E)システムプロトタイプの実現と評価,の5つのサブテーマからなる.令和5年度は特に(C)と(D)を中心に研究を進めると予定をしていたが(A), (B)についても一定の進展があった.
研究実績で大きいものの一つは(C)に関するもので,ストリーム環境においてセンシングなどの入り口から最終的な処理に至るまで,品質を管理しながら近似的にデータの集計等を行う問合せ処理技術を開発した.この研究は論文誌に採録されるに至った.
また,(D)に関しては,ユーザが指定した品質の条件を満たす,近似的なデータベース処理技術の開発を行った.データベースの内容をコンパクトに表現するシノプシスというデータ構造を作成するが,近似手法に新規性があり,従来手法に比べよりコンパクトかつ精度を高めた手法となっている.令和5年度には研究会での発表などを行い,国際会議や論文誌への投稿をするに至った.
さらに令和5年度は(B)に関連するトピックとして,因果推論の技術をデータベースに適用し,曖昧な情報が蓄積されたデータベースに対してより精度の高い推論を含むデータベース問合せの技術開発に着手した.
これ以外にも,グラフ構造を持ったデータに対する近似的な問合せ処理技術の開発なども行い,次年度につながるアイデアが得られた.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

今年度は業績そのものの件数は予定よりは少なかったものの,研究の進展が著しく,令和6年度に向けての国際会議や学術雑誌への投稿を行うことができた.この報告を書いている5月時点で,それらの論文が採録・採択されており,結果的には良い成果を生むことができた.また,新たなトピックへの展開もあった.

Strategy for Future Research Activity

当初の計画に従って進めていく予定であるが,特にデータベースに対するコンパクトなシノプシスを用いた問合せ処理技術については成果がいろいろと得られており,これらを早々にまとめたいと考えている.また,因果推論との近似的データベース問合せ処理との関わりについても進展をさせたいと検討を重ねている.また,近似的問合せ処理には従来からサンプリングも活用されてきたが,今後はサンプリング技術の併用も行いたいと考えている.

Report

(2 results)
  • 2023 Annual Research Report
  • 2022 Annual Research Report
  • Research Products

    (17 results)

All 2024 2023 2022

All Journal Article (2 results) (of which Peer Reviewed: 2 results,  Open Access: 2 results) Presentation (15 results) (of which Int'l Joint Research: 2 results,  Invited: 1 results)

  • [Journal Article] Watermark Management for Edge Computing System Based on Approximate Fault Tolerance2024

    • Author(s)
      高尾 大樹、杉浦 健人、石川 佳治、陸 可鏡
    • Journal Title

      電子情報通信学会論文誌D 情報・システム

      Volume: J107-D Issue: 5 Pages: 335-347

    • DOI

      10.14923/transinfj.2023DEP0007

    • ISSN
      1880-4535, 1881-0225
    • Year and Date
      2024-05-01
    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] MQH: Locality Sensitive Hashing on Multi-level Quantization Errors for Point-to-Hyperplane Distances2022

    • Author(s)
      Kejing Lu, Yoshiharu Ishikawa, Chuan Xiao
    • Journal Title

      Proceedings of the VLDB Endowment

      Volume: 16 Issue: 4 Pages: 864-876

    • DOI

      10.14778/3574245.3574269

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] Acceleration of Synopsis Construction for Approximate Query Processing2024

    • Author(s)
      Tianjia Ni, Kento Sugiura, Yoshiharu Ishikawa, Kejing Lu
    • Organizer
      The DASFAA 2024 Workshop on Emerging Results in Data Science and Engineering (ERDSE 2024)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Probabilistic Routing for Graph-Based Approximate Nearest Neighbor Search2024

    • Author(s)
      Kejing Lu, Chuan Xiao, Yoshiharu Ishikawa
    • Organizer
      International Conference on Machine Learning
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 誤差保証付き近似的問合せ処理におけるシノプシス構築の高速化2024

    • Author(s)
      倪 天嘉, 杉浦 健人, 石川 佳治, 陸 可鏡
    • Organizer
      第16回データ工学と情報マネジメントに関するフォーラム(DEIM 2024)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 来歴情報を活用したデータベースからの因果推論2024

    • Author(s)
      大岩 和樹, 石川 佳治, 杉浦 健人, 陸 可鏡
    • Organizer
      第16回データ工学と情報マネジメントに関するフォーラム(DEIM 2024)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 因果推論に基づくデータベースからの仮説問合せについて2024

    • Author(s)
      大岩 和樹, 石川 佳治, 杉浦 健人, 陸 可鏡
    • Organizer
      情報処理学会第86回全国大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 誤差上限付き近似問合せ処理におけるシノプシス構築の高速化2023

    • Author(s)
      堀崎 祥, 倪 天嘉, 杉浦 健人, 石川 佳治, 陸 可鏡
    • Organizer
      情報処理学会第85回全国大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 近似的問合せ処理におけるシノプシス構築の高速化2023

    • Author(s)
      倪 天嘉, 杉浦 健人, 石川 佳治, 陸 可鏡
    • Organizer
      第15回データ工学と情報マネジメントに関するフォーラム(DEIM 2023)
    • Related Report
      2022 Annual Research Report
  • [Presentation] 機械学習によるグラフベース近似最近傍探索の高速化2023

    • Author(s)
      菅 寧, 陸 可鏡, 杉浦 健人, 石川 佳治
    • Organizer
      第15回データ工学と情報マネジメントに関するフォーラム(DEIM 2023)
    • Related Report
      2022 Annual Research Report
  • [Presentation] エッジコンピューティング環境を想定した近似的な耐障害性保証に基づくデータストリーム処理システム2023

    • Author(s)
      高尾 大樹, 杉浦 健人, 石川 佳治, 陸 可鏡
    • Organizer
      第15回データ工学と情報マネジメントに関するフォーラム(DEIM 2023)
    • Related Report
      2022 Annual Research Report
  • [Presentation] Approximate Database Query Processing with Error Guarantees2023

    • Author(s)
      Yoshiharu Ishikawa
    • Organizer
      International Conference on Ubiquitous Information Management and Communication (IMCOM 2023)
    • Related Report
      2022 Annual Research Report
    • Invited
  • [Presentation] 近似的問合せ処理における問合せ高速化のための誤差保証条件の検討2022

    • Author(s)
      倪 天嘉, 杉浦 健人, 石川 佳治, 陸 可鏡
    • Organizer
      WebDB夏のワークショップ2022, 情報処理学会研究報告データベースシステム (DBS)
    • Related Report
      2022 Annual Research Report
  • [Presentation] 機械学習を用いた検索エッジ数の推定によるグラフベース近似最近傍探索の高速化2022

    • Author(s)
      菅 寧, 陸 可鏡, 石川 佳治, 杉浦 健人
    • Organizer
      第21回情報科学技術フォーラム (FIT 2022)
    • Related Report
      2022 Annual Research Report
  • [Presentation] 近似的な耐障害性保証に基づくエッジストリーム処理システムの開発2022

    • Author(s)
      高尾 大樹
    • Organizer
      東海関西データベースワークショップ2022
    • Related Report
      2022 Annual Research Report
  • [Presentation] 問合せ処理の高速化に基づくシノプシスの誤差保証条件について2022

    • Author(s)
      倪 天嘉
    • Organizer
      東海関西データベースワークショップ2022
    • Related Report
      2022 Annual Research Report
  • [Presentation] 機械学習を用いた検索エッジ数の推定によるグラフベース近似最近傍探索の高速化2022

    • Author(s)
      菅 寧
    • Organizer
      東海関西データベースワークショップ2022
    • Related Report
      2022 Annual Research Report

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi