• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Complex Big Data Processing Framework for Pervasice Traceability

Research Project

Project/Area Number 23K28089
Project/Area Number (Other) 23H03399 (2023)
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeMulti-year Fund (2024)
Single-year Grants (2023)
Section一般
Review Section Basic Section 60080:Database-related
Basic Section 62020:Web informatics and service informatics-related
Sections That Are Subject to Joint Review: Basic Section60080:Database-related , Basic Section62020:Web informatics and service informatics-related
Research InstitutionUniversity of Tsukuba

Principal Investigator

北川 博之  筑波大学, 国際統合睡眠医科学研究機構, 教授 (00204876)

Co-Investigator(Kenkyū-buntansha) 天笠 俊之  筑波大学, 計算科学研究センター, 教授 (70314531)
塩川 浩昭  筑波大学, 計算科学研究センター, 准教授 (90775248)
堀江 和正  筑波大学, 計算科学研究センター, 助教 (60817112)
橋本 武彦 (BouSavong)  筑波大学, 計算科学研究センター, 助教 (80910760)
Project Period (FY) 2023-04-01 – 2027-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥18,590,000 (Direct Cost: ¥14,300,000、Indirect Cost: ¥4,290,000)
Fiscal Year 2026: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2025: ¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2024: ¥5,070,000 (Direct Cost: ¥3,900,000、Indirect Cost: ¥1,170,000)
Fiscal Year 2023: ¥5,460,000 (Direct Cost: ¥4,200,000、Indirect Cost: ¥1,260,000)
Keywordsビッグデータ / トレーサビリティ / 来歴 / 複合的ビッグデータ処理
Outline of Research at the Start

ビッグデータ活用の進展に伴い,データ処理の高度化・多様化が進んでいる.データベース,ストリーム処理,ビッグデータ分析,機械学習,メディア処理等の処理様式を組み合わせた複合的ビッグデータ処理が一般的になりつつある.このようなシステムを社会基盤として活用していく上で,処理のトレーサビリティを如何に担保するかが重要な課題となる.本研究では,複合的ビッグデータ処理において,「処理結果がいつどの処理によってどのデータに基づき何故生成されどう信頼できるか」を的確に把握できるパーベイシブトレーサビリティの実現を目指す.コアとなるモデル,概念を定式化し,実現のための要素技術とシステム技術を明らかにする.

Outline of Annual Research Achievements

ビッグデータ活用の進展に伴い,データ処理の高度化・多様化が進んでいる.蓄積データやストリーム等を対象に,データベース,ストリーム処理,ビッグデータ分析,機械学習,メディア処理等の処理様式を組み合わせた複合的ビッグデータ処理が一般的になりつつある.このようなシステムを社会基盤として活用していく上で,処理のトレーサビリティを如何に担保するかが重要な課題となる.本研究では,複合的ビッグデータ処理において,「処理結果がいつどの処理によってどのデータに基づき何故生成されどう信頼できるか」を的確に把握できるパーベイシブトレーサビリティの実現を目指す.(1) 複合的ビッグデータ処理モデルとトレーサビリティモデル,(2)各データ処理様式に対応したトレーサビリティのためのメタデータ処理方式,(3) 処理方式を横断するトレーサビリティ機構,(4) 同機構の高速化,最適化,の4点を中心に研究開発を進める.
初年度の2023年度は,上記の4点を中心に以下のような基礎的な研究成果を得た.
(1) 複合的ビッグデータ処理を統一的に記述するためのデータモデルを定式化し.トレーサビリティのためのメタデータを導出する手法について検討した.(2) 複合的ビッグデータ処理の主要処理様式である,データベース・ビッグデータ分析,ストリーム処理,機械学習・メディア処理におけるトレサビリティの実現手法を検討した.(3) データベース分析に機械学習を融合させた処理においてデータ処理後,ストリーム処理に機械学習を融合させた処理においてデータ処理と同時にトレーサビリティ情報を導出する手法を新規に開発した.(4) データベース分析と機械学習が融合した処理において,効率的にトレーサビリティ情報を獲得する新たな手法を提案し実験によりその有効性を示した.さらに,複合的ビッグデータ処理に関わる複数の要素技術について研究開発を推進した.

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

現在までの進捗状況の概要は既に述べた通りであるが,進捗についての補足説明を以下に加える.
(1) 複合的ビッグデータ処理モデルとして,基本代数演算とユーザ定義関数・メソッド(UDF)を主体とするデータモデルを定式化した.また,同データモデルに基づきトレーサビリティを確保するためのメタデータやその計算モデルについて検討した.さらに,知識ベースと外部情報源の活用を可能とする複合的ビッグデータ処理モデルについても併せて検討した.
(2) A.データベース・ビッグデータ分析,B.ストリーム処理,C.機械学習・メディア処理におけるトレーサビリティ実現手法を検討した.Aについてはデータ処理後に,Bについてはデータ処理と同時にトレーサビリティ情報を確保する手法について検討した.Cについては,処理内容に大きく依存するため,UDFに付随する情報としてトレーサビリティ関連情報を管理するのが適切と判断した.
(3) データベース分析,あるいはストリーム処理に機械学習を融合させた場合におけるトレーサビリティの検討を行った.上記(2)の検討に基づき,前者においてデータ処理後に,後者においてデータ処理と同時にトレーサビリティを確保する手法を新規に開発した.
(4) データベース分析と機械学習が融合した処理は,一般に機械学習のコストが大きな割合を占める傾向があることに着目し,効率的にトレーサビリティを確保する新たな手法を提案した.また,ストリーム処理に機械学習を融合させた処理においても,同様の傾向があるため,トレーサビリティのためのメタデータ処理が大きな処理オーバヘッドにならないことを示した.
(5) 今後のデータ処理の多様化を見据え,Boundary Point検出,欠損値補間等のマイニング技術,ストリーム処理応用,非順序ストリーム処理等の複合的ビッグデータ処理に関わる新たな要素技術についても,研究を進めた.

Strategy for Future Research Activity

今後は,これまでの研究成果をより発展されるための研究を行う.特に,以下の点に注力する.
(1) 複合的ビッグデータ処理モデルとして,基本代数演算とユーザ定義関数・メソッド(UDF)を主体とするデータモデルによる記述力を様々なデータ処理を用いて検証する.また,知識ベースと外部情報源の活用を可能とする複合的ビッグデータ処理モデルについても,対象に応じて適切なエンテイティリンク方法を組み合わせられるような柔軟な方式のついて検討する.
(2) A.データベース・ビッグデータ分析,B.ストリーム処理,C.機械学習・メディア処理におけるトレーサビリティ実現手法の検討を継続する.特に,Bについてはデータ処理と同時にトレーサビリティ情報を確保する手法を既に検討済である.しかし,処理後にトレーサビリティ情報を確保することが可能になれば通常処理のオーバヘッド削減が実現できるが,これのようなアプローチはこれまで研究がなかった.そのような新たな視点からのアプローチに取り組む.
(3) 上記(2)に対応して,ストリーム処理に機械学習を融合させた場合において,データ処理後にトレーサビリティを確保する手法を新規に開発する.これまでの予備的検討によって,その実現可能性については一定の見通しを得ており,今後はプロトタイプを用いた実験等を含めた検討を進める.
(4) ストリーム処理に機械学習を融合させた場合において,データ処理後にトレーサビリティを確保する手法を中心に,様々な手法との性能評価実験を進める.
(5) 複合的ビッグデータ処理に関わる新たな要素技術についても,継続して研究を進める.特に,トレーサビリティとリカバリ,リスケーリング等,これまで独立の項目として研究がされていた技術の関連性にも着目して研究を進める.

Report

(1 results)
  • 2023 Annual Research Report
  • Research Products

    (10 results)

All 2024 2023

All Journal Article (6 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 6 results,  Open Access: 2 results) Presentation (4 results) (of which Invited: 1 results)

  • [Journal Article] 複合的ストリーム処理に対するトレーサビリティの研究2024

    • Author(s)
      山田 真也, 北川 博之, SalmanAhmed Shaikh, 天笠 俊之, 的野 晃整
    • Journal Title

      日本データベース学会 データドリブンスタディーズ

      Volume: 2 Pages: 1-8

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] BPF: A Novel Cluster Boundary Points Detection Method for Static and Streaming Data2023

    • Author(s)
      Vijdan Khalique, Hiroyuki Kitagawa, and Toshiyuki Amagasa
    • Journal Title

      Knowledge and Information Systems

      Volume: - Issue: 7 Pages: 1-32

    • DOI

      10.1007/s10115-023-01854-1

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] CPiX: Real-Time Analytics over Out-of-Order Data Streams by Incremental Sliding-Window Aggregation2023

    • Author(s)
      Savong Bou, Hiroyuki Kitagawa, Toshiyuki Amagasa
    • Journal Title

      2023 IEEE 39th International Conference on Data Engineering (ICDE)

      Volume: - Pages: 3759-3760

    • DOI

      10.1109/icde55515.2023.00310

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Integration of Knowledge Bases and External Information Sources via Magic Properties and Query-driven Entity Linking2023

    • Author(s)
      Yuuki Ohmori, Hiroyuki Kitagawa, Toshiyuki Amagasa, Akiyoshi Matono
    • Journal Title

      Information Integration and Web Intelligence (iiWAS2023)

      Volume: 14416 Pages: 309-324

    • DOI

      10.1007/978-3-031-48316-5_30

    • ISBN
      9783031483158, 9783031483165
    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] TraPM: A Framework for Online Pattern Matching over Trajectory Streams2023

    • Author(s)
      Rina Trisminingsih, Salman Ahmed Shaikh, Toshiyuki Amagasa, Hiroyuki Kitagawa, Akiyoshi Matono
    • Journal Title

      Proc. Information Integration and Web Intelligence: 25th International Conference(iiWAS2023)

      Volume: - Pages: 510-525

    • DOI

      10.1007/978-3-031-48316-5_45

    • ISBN
      9783031483158, 9783031483165
    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Efficient Missing Value Imputation by Maximum Distance Likelihood2023

    • Author(s)
      Savong Bou, Toshiyuki Amagasa, Hiroyuki Kitagawa, Salman Ahmed Shaikh, Akiyoshi Matono
    • Journal Title

      2023 IEEE International Conference on Big Data (BigData)

      Volume: - Pages: 331-338

    • DOI

      10.1109/bigdata59044.2023.10386584

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Int'l Joint Research
  • [Presentation] ユーザ定義の述語とエンティティリンキングを利用した知識ベースと外部情報源の統合利用2024

    • Author(s)
      大森 雄基, 北川 博之, 天笠 俊之, 的野 晃整
    • Organizer
      第16回データ工学と情報マネジメントに関するフォーラム (DEIM 2024)
    • Related Report
      2023 Annual Research Report
  • [Presentation] レム睡眠のリアルタイム自動検出に関する研究2024

    • Author(s)
      佐野 史弥, 国生 泰資, 堀江 和正, 古木 淳也, 鈴木 陽子, 阿部 高志, 北川 博之
    • Organizer
      第16回データ工学と情報マネジメントに関するフォーラム (DEIM 2024)
    • Related Report
      2023 Annual Research Report
  • [Presentation] リアルタイム睡眠ステージ判定システムの開発と評価2024

    • Author(s)
      国生 泰資, 堀江 和正, 鈴木 陽子, 阿部 高志, 北川 博之
    • Organizer
      第16回データ工学と情報マネジメントに関するフォーラム (DEIM 2024)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 深層学習を活用したヒト睡眠の自動解析2023

    • Author(s)
      北川博之
    • Organizer
      日本睡眠学会第45回定期学術集会・第30回日本時間生物学会学術大会 合同大会, シンポジウム8
    • Related Report
      2023 Annual Research Report
    • Invited

URL: 

Published: 2023-04-18   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi