• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Developments of statistical compression technology for massive data having tensor structures

Research Project

Project/Area Number 22K19769
Research Category

Grant-in-Aid for Challenging Research (Exploratory)

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 60:Information science, computer engineering, and related fields
Research InstitutionUniversity of Tsukuba

Principal Investigator

青嶋 誠  筑波大学, 数理物質系, 教授 (90246679)

Co-Investigator(Kenkyū-buntansha) 矢田 和善  筑波大学, 数理物質系, 教授 (90585803)
石井 晶  東京理科大学, 創域理工学部情報計算科学科, 講師 (20801161)
赤平 昌文  筑波大学, 数理物質系(名誉教授), 名誉教授 (70017424)
Project Period (FY) 2022-06-30 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥6,370,000 (Direct Cost: ¥4,900,000、Indirect Cost: ¥1,470,000)
Fiscal Year 2024: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2023: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2022: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
Keywordsデータ圧縮 / 深層学習 / 高次元統計解析 / 巨大データ / 次元の呪い
Outline of Research at the Start

深層学習(DL)に代表されるAI技術が進化しているものの、その実現はコンピューターの性能を頼みにし、コスト面からDLを巨大データの解析にそのまま適用することは難しい。近い将来、DLの進歩が経済的にも技術的にも環境的にも持続不可能になるという指摘もある。本研究は、コンピューターの性能に依存した従来の学術体系と方向を大きく変革・転換させ、巨大テンソル型データを低コストで高速かつ高精度に解析できる統計的圧縮技術を開発する。コンピューターの負荷を大きく軽減することで、学術上の突破口を切り拓き、科学技術・産業への革新的展開を目指す。

Outline of Annual Research Achievements

本研究は、コンピューターの性能に依存した従来の学術の体系と方向を大きく変革・転換させ、巨大テンソル型データを低コストで高速かつ高精度に解析できる統計的圧縮技術を開発する。次の3つの研究目的を遂行した。
(1) 巨大データ行列の非スパース性と巨大ノイズの推定論の構築
(2) 3階テンソル型データの次元の呪いの解明と解決法の提案
(3) 巨大テンソル型データの高速・高精度な統計的圧縮技術の開発
(1)について、幾つかのクラスが混在する巨大データ行列に見られる非スパースな潜在空間に関して、その構造を各クラスの階層的構造で捉え特定するための正則条件を導出することに成功した。Aoshima and Yata (2019)のデータ変換法を用いて、非スパースな潜在空間を抽出し、巨大なノイズを特定することにも成功した。(2)について、前年度の研究で、3階テンソル型データにおける次元の呪いの主原因として、行列型の巨大ノイズを特定した。その研究を深化させ、Yata and Aoshima (2010)のクロスデータ行列法を応用し、テンソルを構成する各行列を掛け合わせるというアイディアで巨大ノイズを除去することに成功した。(3)について、巨大テンソル型データのノイズを除去したことで、浮き彫りになった潜在空間を低ランクなテンソルで表現することに成功した。
本研究の成果について、青嶋はドイツで開催された国際会議で基調講演を行った。また、矢田・石井とともに幾つかの国際会議で招待講演を行った。本研究課題に関連する国際シンポジウムを、対面+オンライン(Zoom)のハイブリッド形式により、つくば国際会議場で開催した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

交付申請書に記載した研究の目的に沿って、コンピューターの性能に依存した従来の学術の体系と方向を見直し、巨大テンソル型データを低コストで高速かつ高精度に解析できる統計的圧縮技術の開発を目指した。基礎研究に基づいた応用研究に入り、重要な成果が生まれ始め、新たな国際共同研究にも繋がった。国際会議の基調講演や国際シンポジウムの開催でも研究成果に多くの関心が寄せられ、おおむね順調に進展していると評価できる。

Strategy for Future Research Activity

本研究課題の最終年度において、巨大テンソル型データの高速・高精度な統計的圧縮技術を完成させる。構築した理論と方法論は学術の体系を再構築するものであるため、複数の応用面から慎重に検証し精査する。

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • Research Products

    (34 results)

All 2025 2024 2023 2022 Other

All Int'l Joint Research (4 results) Journal Article (8 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 5 results,  Open Access: 6 results) Presentation (20 results) (of which Int'l Joint Research: 10 results,  Invited: 10 results) Remarks (1 results) Funded Workshop (1 results)

  • [Int'l Joint Research] Chinese University of Hong Kong/Academia Sinica/National Taiwan University(中国)

    • Related Report
      2023 Research-status Report
  • [Int'l Joint Research] National University of Singapore(シンガポール)

    • Related Report
      2023 Research-status Report
  • [Int'l Joint Research] Indian Statistical Institute(インド)

    • Related Report
      2023 Research-status Report
  • [Int'l Joint Research] Chinese University of Hong Kong/Academia Sinica/National Central University(中国)

    • Related Report
      2022 Research-status Report
  • [Journal Article] Automatic Sparse PCA for High-Dimensional Data2025

    • Author(s)
      Yata Kazuyoshi、Aoshima Makoto
    • Journal Title

      Statistica Sinica

      Volume: 35

    • DOI

      10.5705/ss.202022.0319

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Asymptotic properties of hierarchical clustering in high-dimensional settings2024

    • Author(s)
      Egashira Kento、Yata Kazuyoshi、Aoshima Makoto
    • Journal Title

      Journal of Multivariate Analysis

      Volume: 199 Pages: 105251-105251

    • DOI

      10.1016/j.jmva.2023.105251

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] High-dimensional Statistical Analysis and Its Application to an ALMA Map of NGC 2532024

    • Author(s)
      Takeuchi Tsutomu T.、Yata Kazuyoshi、Egashira Kento、Aoshima Makoto、Ishii Aki、Cooray Suchetha、Nakanishi Kouichiro、Kohno Kotaro、Kono Kai T.
    • Journal Title

      The Astrophysical Journal Supplement Series

      Volume: 271 Issue: 2 Pages: 44-44

    • DOI

      10.3847/1538-4365/ad2517

    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] 高次元小標本における非階層型クラスタリングの一致性について2023

    • Author(s)
      江頭健斗、矢田和善、青嶋 誠
    • Journal Title

      京都大学数理解析研究所講究録

      Volume: 2254 Pages: 1-8

    • Related Report
      2023 Research-status Report
    • Open Access
  • [Journal Article] Statistical hypothesis testing for high-dimension, low-sample-size data2023

    • Author(s)
      Aoshima Makoto、Ishii Aki、Yata Kazuyoshi
    • Journal Title

      American Mathematical Society, Sugaku Expositions

      Volume: ー

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Journal Article] 高次元現象の統計数理2022

    • Author(s)
      青嶋誠
    • Journal Title

      日本数学会秋季総合分科会総合講演・企画特別講演アブストラクト

      Volume: ー Pages: 51-61

    • Related Report
      2022 Research-status Report
  • [Journal Article] Geometric classifiers for high-dimensional noisy data2022

    • Author(s)
      Ishii Aki、Yata Kazuyoshi、Aoshima Makoto
    • Journal Title

      Journal of Multivariate Analysis

      Volume: 188 Pages: 104850-104850

    • DOI

      10.1016/j.jmva.2021.104850

    • Related Report
      2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] 階層的クラスタリングの高次元漸近的性質について2022

    • Author(s)
      江頭健斗, 矢田和善, 青嶋誠
    • Journal Title

      数理解析研究所講究録

      Volume: 2221 Pages: 30-37

    • Related Report
      2022 Research-status Report
    • Open Access
  • [Presentation] Asymptotic properties of kernel k-means under high dimensional settings2024

    • Author(s)
      Kento Egashira, Kazuyoshi Yata, Makoto Aoshima
    • Organizer
      IMS Asia Pacific Rim Meeting 2024
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research / Invited
  • [Presentation] Reconstruction of a low-rank matrix by singular value decompositions2024

    • Author(s)
      矢田和善、青嶋 誠
    • Organizer
      日本数学会年会
    • Related Report
      2023 Research-status Report
  • [Presentation] 高次元小標本におけるカーネルk-means法について2024

    • Author(s)
      江頭健斗、矢田和善、青嶋 誠
    • Organizer
      日本数学会年会
    • Related Report
      2023 Research-status Report
  • [Presentation] Non-sparse modeling for high-dimensional data2023

    • Author(s)
      Makoto Aoshima
    • Organizer
      Statistical Week 20231(基調講演)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research / Invited
  • [Presentation] Quadratic classifiers for high-dimensional noisy data2023

    • Author(s)
      Aki Ishii, Kazuyoshi Yata, Makoto Aoshima
    • Organizer
      The 6th International Conference on Econometrics and Statistics
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research / Invited
  • [Presentation] Contrastive principal component analysis in high dimension low sample size2023

    • Author(s)
      Shao-Hsuan Wang, Kazuyoshi Yata
    • Organizer
      The 6th International Conference on Econometrics and Statistics
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research / Invited
  • [Presentation] Asymptotic behaviors of k-means under high dimensional settings2023

    • Author(s)
      Kento Egashira, Kazuyoshi Yata, Makoto Aoshima
    • Organizer
      The 6th International Conference on Econometrics and Statistics
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research / Invited
  • [Presentation] Asymptotic properties of kernel k-means for high dimensional data2023

    • Author(s)
      Kento Egashira, Kazuyoshi Yata, Makoto Aoshima
    • Organizer
      International Symposium on Recent Advances in Theories and Methodologies for Large Complex Data
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research / Invited
  • [Presentation] Hierarchical clustering and its asymptotic behaviors in multiclass HDLSS settings2023

    • Author(s)
      江頭健斗、矢田和善、青嶋 誠
    • Organizer
      科研費シンポジウム「統計科学と関連分野における諸問題に関する理論と方法論の革新的展開」
    • Related Report
      2023 Research-status Report
  • [Presentation] 高次元小標本におけるk-means法と階層的クラスタリングについて2023

    • Author(s)
      江頭健斗、矢田和善、青嶋 誠
    • Organizer
      日本数学会秋季総合分科会
    • Related Report
      2023 Research-status Report
  • [Presentation] 高次元データにおけるk-means法の漸近的性質とその応用2023

    • Author(s)
      江頭健斗、矢田和善、青嶋 誠
    • Organizer
      統計関連学会連合大会
    • Related Report
      2023 Research-status Report
  • [Presentation] k-means 法の高次元漸近的性質について2023

    • Author(s)
      江頭健斗、矢田和善、青嶋 誠
    • Organizer
      応用統計学会年会
    • Related Report
      2023 Research-status Report
  • [Presentation] 高次元小標本における非階層型クラスタリングの一致性について2023

    • Author(s)
      江頭健斗, 矢田和善,青嶋誠
    • Organizer
      京都大学数理解析研究所研究集会「種々の統計的モデルにおける推測方式の有効性」
    • Related Report
      2022 Research-status Report
  • [Presentation] 高次元現象の統計数理2022

    • Author(s)
      青嶋誠
    • Organizer
      日本数学会秋季総合分科会(企画特別講演)
    • Related Report
      2022 Research-status Report
    • Invited
  • [Presentation] Geometric classifiers for high-dimensional noisy data2022

    • Author(s)
      Kazuyoshi Yata, Aki Ishii, Makoto Aoshima
    • Organizer
      JMVA 50th Jubilee volume follow-up webinar
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research / Invited
  • [Presentation] Estimation of eigenvectors for linear combinations of high-dimensional covariance matrices and its applications2022

    • Author(s)
      Kazuyoshi Yata, Aki Ishii, Makoto Aoshima
    • Organizer
      The 5th International Conference on Econometrics and Statistics
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research / Invited
  • [Presentation] Asymptotic behaviors of hierarchical clustering under high dimensional settings2022

    • Author(s)
      Kento Egashira, Kazuyoshi Yata, Makoto Aoshima
    • Organizer
      The 5th International Conference on Econometrics and Statistics
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research / Invited
  • [Presentation] High dimensional and low sample size case statistics for the screening on crystal information of the solid-state electrolytes2022

    • Author(s)
      Sakamoto, H., Yata, K., Yamasaki, H., Aoshima, M.
    • Organizer
      2022 Materials Research Society Spring Meeting
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] Hierarchical clustering and its asymptotic behaviors in high-dimensional settings2022

    • Author(s)
      江頭健斗, 矢田和善,青嶋誠
    • Organizer
      科研費シンポジウム「統計科学の開拓」
    • Related Report
      2022 Research-status Report
  • [Presentation] 階層的クラスタリングの高次元漸近的振舞い2022

    • Author(s)
      江頭健斗, 矢田和善,青嶋誠
    • Organizer
      日本数学会秋季総合分科会
    • Related Report
      2022 Research-status Report
  • [Remarks] 青嶋研究室ホームページ

    • URL

      https://www.math.tsukuba.ac.jp/~aoshima-lab/jp/

    • Related Report
      2023 Research-status Report 2022 Research-status Report
  • [Funded Workshop] International Symposium on Recent Advances in Theories and Methodologies for Large Complex Data2023

    • Related Report
      2023 Research-status Report

URL: 

Published: 2022-07-05   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi