幾何学的データ解析手法の開発と位相的データ解析への展開

• Project/Area Number: 23K28150
• Project/Area Number (Other): 23H03460 (2023)
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Multi-year Fund (2024); Single-year Grants (2023)
• Section: 一般
• Review Section: Basic Section 61030:Intelligent informatics-related; Basic Section 60030:Statistical science-related; Sections That Are Subject to Joint Review: Basic Section60030:Statistical science-related , Basic Section61030:Intelligent informatics-related
• Research Institution: Meiji Gakuin University (2024); Future University-Hakodate (2023)
• Principal Investigator: 佐々木 博昭 明治学院大学, 情報数理学部, 准教授 (80756916)
• Co-Investigator(Kenkyū-buntansha): 金森 敬文 東京工業大学, 情報理工学院, 教授 (60334546) ; 本武 陽一 一橋大学, 大学院ソーシャル・データサイエンス研究科, 准教授 (80848672)
• Project Period (FY): 2023-04-01 – 2028-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥18,720,000 (Direct Cost: ¥14,400,000、Indirect Cost: ¥4,320,000); Fiscal Year 2027: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000); Fiscal Year 2026: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000); Fiscal Year 2025: ¥3,250,000 (Direct Cost: ¥2,500,000、Indirect Cost: ¥750,000); Fiscal Year 2024: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2023: ¥5,590,000 (Direct Cost: ¥4,300,000、Indirect Cost: ¥1,290,000)
• Keywords: 幾何学的データ / 位相的データ解析 / 確率密度関数 / 多様体 / 機械学習 / 統計的データ解析 / ロバスト推定

Outline of Research at the Start

幾何学的情報を含むデータの解析手法を開発することは重要な研究課題である．本研究では幾何学的情報を含んだデータに対して，その情報を有効活用するデータ解析手法を開発する.そして，この解析手法を位相的データ解析などへ応用する.位相的データ解析は様々な研究分野で用いられているため，本研究においても物理学などの他分野へも貢献することを目指す.

Outline of Annual Research Achievements

本研究は幾何学的情報を含むデータ解析手法の開発と応用を目的としている．今年度は高次元ユークリッド空間に埋め込まれた低次元部分空間（埋め込み多様体）を定義域とする潜在変数の推定問題に取り組んだ．従来の研究では，低次元部分空間に分布する潜在変数ベクトルの非線形混合として，高次元ユークリッドデータが観測されることを仮定する．それに対して，本研究では，さらに異なる低次元部分空間に分布する潜在変数ベクトルから別のユークリッドデータが観測されることを仮定した．そして，この２つの観測データと補助データから２つの低次元潜在変数ベクトルを推定するための条件を理論的に導出した．それに加え，構築した理論をグラフ埋め込み問題へ適用し，グラフデータのリンク重みに関する条件が潜在変数ベクトルの推定に重要であることを理論的に示し，その妥当性を数値実験により確認した．
その他に非規格化確率モデルの推定問題にも取り組んだ．非規格化確率モデルとは，正規化することが困難な確率モデルであり，通常の確率モデルの推定法を適用することは一般にできない．その一方で，非規格化確率モデルは，多様体を存在領域とする多様体データなどの様々な実用的な場面で現れることがあるため，重要な問題である．本研究では，従来研究とは異なり，データに混入した外れ値にロバストな非規格化確率モデルの推定法を提案した．提案法では，観測データの他に参照データを用いた対比学習によって非規格化確率モデルの推定を実現する．そして，推定法の外れ値に対するロバスト性を理論的に調査した結果，参照データも外れ値で汚染されるときに推定がよりロバストになることを示唆する理論的な結果を得た．さらに，外れ値に対するロバスト性を数値実験からも確認した．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

今年度は今後提案するデータ解析手法の基盤を構築できたと考えており，おおむね順調と評価している．

Strategy for Future Research Activity

今後は今年度の構築した研究基盤を基に多様体データの解析方法を構築する．特に，時空間データへ適用可能な解析手法を構築する予定である．また，その構築手法と位相的データ解析を組み合わせることで，他分野への応用も試みるつもりである．

Research Products

• [Journal Article] Outlier-robust parameter estimation for unnormalized statistical models (2024)
  • Author(s): Hiroaki Sasaki & Takashi Takenouchi
  • Journal Title: Japanese Journal of Statistics and Data Science Volume: - Issue: 1 Pages: 1-30
  • DOI: 10.1007/s42081-023-00237-8
  • Peer Reviewed / Open Access
• [Journal Article] Denoising Cosine Similarity: A Theory-Driven Approach for Efficient Representation Learning (2024)
  • Author(s): T. Nakagawa, Y. Sanada, H. Waida, Y. Zhang, Y. Wada, K. Takanashi, T. Yamada, T. Kanamori
  • Journal Title: Neural Networks Volume: 169 Pages: 226-241
  • DOI: 10.1016/j.neunet.2023.10.027
  • Peer Reviewed
• [Journal Article] Autoregressive With Slack Time Series Model for Forecasting a Partially-Observed Dynamical Time Series (2024)
  • Author(s): Akifumi Okuno, Yuya Morishita, Yoh-ichi Mototake
  • Journal Title: IEEE Access Volume: 12 Pages: 24621-24630
  • DOI: 10.1109/access.2024.3365724
  • Peer Reviewed / Open Access
• [Journal Article] Learning Domain Invariant Representations by Joint Wasserstein Distance Minimization Learning Systems (2023)
  • Author(s): L. Andeol, Y. Kawakami, Y. Wadad, T. Kanamori, K. R. Muller, G. Montavon,
  • Journal Title: Neural Networks Volume: 167 Pages: 233-243
  • DOI: 10.1016/j.neunet.2023.07.028
  • Peer Reviewed / Int'l Joint Research
• [Journal Article] Deep Clustering With a Constraint for Topological Invariance Based on Symmetric InfoNCE (2023)
  • Author(s): Y. Zhang, Y. Wada, H. Waida, K. Goto, Y. Hino,T. Kanamori
  • Journal Title: Neural Computation Volume: 35 Issue: 7 Pages: 1288-1339
  • DOI: 10.1162/neco_a_01591
  • Peer Reviewed
• [Presentation] Robust VAEs via Generating Process of Noise Augmented Data (2024)
  • Author(s): H. Irobe, W. Aoki, K. Yamazaki, Y. Zhang, T. Nakagawa, H. Waida, Y. Wada, T. Kanamori
  • Organizer: IEEE International Symposium on Information Theory
  • Int'l Joint Research
• [Presentation] Open-World Learning Under Dataset Shift (2024)
  • Author(s): P. Srey, Y. Zhang, T. Kanamori
  • Organizer: IEEE Conference on Artificial Intelligence
  • Int'l Joint Research
• [Presentation] Interpretable reduced modeling of large-scale pattern dynamics - from materials science to astrophysics - (2024)
  • Author(s): Yoh-ichi Mototake
  • Organizer: Statistical Analysis of Random Fields in Cosmology
  • Int'l Joint Research / Invited
• [Presentation] Local Acquisition Function for Active Level Set Estimation (2023)
  • Author(s): Y. Kokubun, K. Matsui, K. Kutsukake, W. Kumagai, T. Kanamori
  • Organizer: NeurIPS 2023 Workshop on Adaptive Experimental Design and Active Learning in the Real World(
  • Int'l Joint Research
• [Presentation] Towards Understanding the Mechanism of Contrastive Learning via Similarity Structure: A Theoretical Analysis (2023)
  • Author(s): H. Waida, Y. Wada, L. Andeol, T. Nakagawa, Y. Zhang, T. Kanamori
  • Organizer: European Conference on Machine Learning and Data Mining
• [Presentation] 平滑化全変動距離によるロバスト推定 (2023)
  • Author(s): 金森 敬文、横山 皓大、川島 孝行
  • Organizer: 統計関連学会連合大会
• [Presentation] 有界領域上における一致性のあるカーネル密度推定量の構成 (2023)
  • Author(s): 中川 匠、髙梨 耕作、金森 敬文
  • Organizer: 統計関連学会連合大会
• [Presentation] 局所探索型獲得関数に基づく能動的レベル集合推定法の提案 (2023)
  • Author(s): 國分裕太、松井孝太、沓掛健太郎、熊谷亘、金森敬文
  • Organizer: 情報論的学習理論ワークショップIBIS
• [Presentation] Fast Neural Architecture Search with Random Neural Tangent Kernel (2023)
  • Author(s): Keigo Wakayama, Takafumi Kanamori
  • Organizer: 情報論的学習理論ワークショップIBIS
• [Presentation] Revealing the Mechanism of Large-scale Gradient Systems Using a Neural Reduced Potential (2023)
  • Author(s): Shunya Tsuji, Ryo Murakami, Hayaru Shouno, Yoh-ichi Mototake
  • Organizer: NeurIPS 2023 Workshop on Machine Learning and the Physical Sciences(ML4PS)
  • Int'l Joint Research
• [Presentation] Extracting Nonlinear Symmetries From Trained Neural Networks on Dynamics Data (2023)
  • Author(s): Yoh-ichi Mototake
  • Organizer: NeurIPS 2023 Workshop on AI for Sciences: from Theory to Practice
  • Int'l Joint Research
• [Presentation] Perspectives in Artificial Intelligence and Machine Learning in Materials Chemistry (2023)
  • Author(s): Yoh-ichi Mototake
  • Organizer: ICIAM Tokyo 2023 Minisymposium
  • Int'l Joint Research / Invited
• [Presentation] Interpretable AI Supporting Scientists' Insight into Large-Scale Dynamics (2023)
  • Author(s): Yoh-ichi Mototake
  • Organizer: Global Plasma Forum in Aomori 2023
  • Int'l Joint Research / Invited
• [Presentation] 解釈可能AIによるデータ駆動理学の実現へ向けた取り組み (2023)
  • Author(s): 本武 陽一
  • Organizer: 第38回情報計測オンラインセミナー
  • Invited
• [Presentation] Neural reduced potentialによる勾配系の解析枠組みの提案 (2023)
  • Author(s): 辻 駿哉、村上 諒、庄野 逸、本武 陽一
  • Organizer: 2023年度人工知能学会全国大会（第37回）
• [Presentation] Transformerを用いたフラクトグラフィ (2023)
  • Author(s): 山中翔太、有竹俊光、天本義史、本武陽一
  • Organizer: 情報論的学習理論ワークショップIBIS