• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2023 Fiscal Year Annual Research Report

Fronteers of Data Science by Probabilistic Description and Inference of Dynamics

Planned Research

Project AreaEstablishing data descriptive science and its cross-disciplinary applications
Project/Area Number 22H05106
Research InstitutionThe Institute of Statistical Mathematics

Principal Investigator

福水 健次  統計数理研究所, 先端データサイエンス研究系, 教授 (60311362)

Co-Investigator(Kenkyū-buntansha) 下平 英寿  京都大学, 情報学研究科, 教授 (00290867)
河原 吉伸  大阪大学, 大学院情報科学研究科, 教授 (00514796)
横井 祥  東北大学, 情報科学研究科, 助教 (60888949)
Project Period (FY) 2022-06-16 – 2027-03-31
Keywords人工知能 / ダイナミクス / 統計科学 / 時系列解析
Outline of Annual Research Achievements

2023年度の研究実績は以下のとおりである.
〇データの生成過程と関連性の幾何的な記述: 自然言語の統計的な生成過程の研究として,単語のコーパス分布を事前分布,文脈における分布を事後分布ととらえ,さまざまな演算を指数型分布族の観点から自然に解釈できることを示した.分布外汎化をもたらすデータの生成過程に関して研究を行い,Invariant Risk Minimizationの方法が正しく動作するための条件を明らかにした.
〇データの位相的情報を抽出する記述言語: パーシステントホモロジーに関して,同一なパーシステント図を与える分布の同値類に関して研究を行い,パーシステント図では判別がつかない分布のクラスを明らかにした.また,グラフ上の非正規化分布に対する最適輸送の効率的アルゴリズムに関して研究を行った.
〇確率的なダイナミクスによるデータの記述と推論: 微分方程式を用いた生成モデルであるフローマッチングの方法に関して,条件付分布からの生成法に関して新たな理論と方法を構築した.また,状態空間モデルにおいて尤度が陽にかけない場合のパラメータ推定の方法に関して研究を行った.さらに,群の作用によって遷移する時系列データを用いて,Autoencoderタイプの深層学習によって非線形なフーリエ変換を学習によって求める方法を開発した.また,クープマン作用素を介した動力学のデータ解析に関して研究を進め,スペクトル構造などさまざまな性質を明らかにした.

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

計画に沿って研究成果が得られており,それらの成果がICLR, ICML, EMNLP, ACLなど当該分野で高い評価を受ける国際会議論文として採択されていることから,計画以上に進展していると判断できる.

Strategy for Future Research Activity

現在行っている研究を継続して発展させるとともに,最近の研究動向を反映して,状態空間モデルを用いた大規模基盤モデルなどの理論,方法の研究や,微分方程式を用いた生成モデルの研究など,新しい分野を開拓する研究も推進していく.

  • Research Products

    (36 results)

All 2024 2023 Other

All Int'l Joint Research (3 results) Journal Article (13 results) (of which Int'l Joint Research: 4 results,  Peer Reviewed: 13 results,  Open Access: 11 results) Presentation (20 results) (of which Int'l Joint Research: 5 results,  Invited: 4 results)

  • [Int'l Joint Research] Newcastle University(英国)

    • Country Name
      UNITED KINGDOM
    • Counterpart Institution
      Newcastle University
  • [Int'l Joint Research] Pennsylvania State University(米国)

    • Country Name
      U.S.A.
    • Counterpart Institution
      Pennsylvania State University
  • [Int'l Joint Research] National University of Singapore(シンガポール)

    • Country Name
      SINGAPORE
    • Counterpart Institution
      National University of Singapore
  • [Journal Article] Out-of-Distribution Optimality of Invariant Risk Minimization2024

    • Author(s)
      Shoji Toyota, Kenji Fukumizu
    • Journal Title

      Transactions on Machine Learning Research

      Volume: 2835-8856 Pages: 1-12

    • Peer Reviewed / Open Access
  • [Journal Article] Decentralized policy learning with partial observation and mechanical constraints for multiperson modeling2024

    • Author(s)
      Keisuke Fujii, Naoya Takeishi, Yoshinobu Kawahara, Kazuya Takeda
    • Journal Title

      Neural Networks

      Volume: 171 Pages: 40-52

    • DOI

      10.1016/j.neunet.2023.11.068

    • Peer Reviewed / Open Access
  • [Journal Article] 3D Rotation and Translation for Hyperbolic Knowledge Graph Embedding2024

    • Author(s)
      Yihua Zhu, Hidetoshi Shimodaira
    • Journal Title

      Proceedings of the 18th Conference of the European Chapter of the Association for Computational Linguistics

      Volume: 1 Pages: 1497-1515

    • Peer Reviewed / Open Access
  • [Journal Article] A kernel Stein test for comparing latent variable models2023

    • Author(s)
      Heishiro Kanagawa, Wittawat Jitkrittum, Lester Mackey, Kenji Fukumizu, Arthur Gretton
    • Journal Title

      Journal of the Royal Statistical Society Series B

      Volume: 85 Pages: 986-1011

    • DOI

      10.1093/jrsssb/qkad050

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Estimation with infinite-dimensional exponential family and Fisher divergence2023

    • Author(s)
      Fukumizu Kenji
    • Journal Title

      Information Geometry

      Volume: 7 Pages: 609-622

    • DOI

      10.1007/s41884-023-00122-z

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Scalable Unbalanced Sobolev Transport for Measures on a Graph2023

    • Author(s)
      Le Tam, Nguyen Truyen, Kenji Fukumizu
    • Journal Title

      Proceedings of The 26th International Conference on Artificial Intelligence and Statistics

      Volume: 206 Pages: 8521-8560

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Controlling Posterior Collapse by an Inverse Lipschitz Constraint on the Decoder Network2023

    • Author(s)
      Yuri Kinoshita, Kenta Oono, Kenji Fukumizu, Yuichi Yoshida, Shin-Ichi Maeda
    • Journal Title

      Proceedings of the 40th International Conference on Machine Learning

      Volume: 202 Pages: 17041-17060

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Neural dynamic mode decomposition for end-to-end modeling of nonlinear dynamics2023

    • Author(s)
      Tomoharu Iwata, Yoshinobu Kawahara
    • Journal Title

      Journal of Computational Dynamics

      Volume: 10 Pages: 268-280

    • DOI

      10.3934/jcd.2022029

    • Peer Reviewed / Open Access
  • [Journal Article] Stable invariant models via Koopman spectra2023

    • Author(s)
      Takuya Konishi, Yoshinobu Kawahara
    • Journal Title

      Neural Networks

      Volume: 165 Pages: 393-405

    • DOI

      10.1016/j.neunet.2023.05.040

    • Peer Reviewed
  • [Journal Article] Dynamic mode decomposition for Koopman spectral analysis of elementary cellular automata2023

    • Author(s)
      Keisuke Taga, Yuzuru Kato, Yoshihiro Yamazaki, Yoshinobu Kawahara, Hiroya Nakao
    • Journal Title

      Chaos

      Volume: 34 Pages: 13125

    • DOI

      10.1063/5.0159069

    • Peer Reviewed / Open Access
  • [Journal Article] Improving word mover's distance by leveraging self-attention matrix2023

    • Author(s)
      Yamagiwa Hiroaki, Yokoi Sho, Shimodaira Hidetoshi
    • Journal Title

      Findings of the Association for Computational Linguistics: EMNLP 2023

      Volume: 1 Pages: 11160-11183

    • DOI

      10.18653/v1/2023.findings-emnlp.746

    • Peer Reviewed / Open Access
  • [Journal Article] Norm of Word Embedding Encodes Information Gain2023

    • Author(s)
      Oyama Momose, Yokoi Sho, Shimodaira Hidetoshi
    • Journal Title

      Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing

      Volume: 1 Pages: 2108-2130

    • DOI

      10.18653/v1/2023.emnlp-main.131

    • Peer Reviewed / Open Access
  • [Journal Article] Discovering Universal Geometry in Embeddings with ICA2023

    • Author(s)
      Yamagiwa Hiroaki, Oyama Momose, Shimodaira Hidetoshi
    • Journal Title

      Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing

      Volume: 1 Pages: 4647-4675

    • DOI

      10.18653/v1/2023.emnlp-main.283

    • Peer Reviewed / Open Access
  • [Presentation] Machine Learning with Group Theory2024

    • Author(s)
      福水健次
    • Organizer
      The Machine Learning Summer School in Okinawa 2024
    • Int'l Joint Research / Invited
  • [Presentation] 人工知能の謎に迫る -- 数理によるアプローチ --2024

    • Author(s)
      福水健次
    • Organizer
      N高等学校/S高等学校研究部特別講演
    • Invited
  • [Presentation] 依存関係の大きさは意味の関連性を表す2024

    • Author(s)
      大山百々勢, 山際宏明, 下平英寿
    • Organizer
      言語処理学会第30回年次大会(NLP2024)
  • [Presentation] 大規模言語モデルにおける幻覚緩和のための単語確率の外挿2024

    • Author(s)
      何昀臻,高瀬侑亮,石橋陽一,下平英寿
    • Organizer
      言語処理学会第30回年次大会(NLP2024)
  • [Presentation] Scalable Unbalanced Sobolev Transport for Measures on a Graph2023

    • Author(s)
      Le Tam, Nguyen Truyen, Kenji Fukumizu
    • Organizer
      The 26th International Conference on Artificial Intelligence and Statistics (AISTATS 2023)
    • Int'l Joint Research
  • [Presentation] 粗いラベルによるInvariant Risk Minimization2023

    • Author(s)
      豊田祥史
    • Organizer
      電子情報通信学会九州支部講演会
  • [Presentation] Solving Choice-Based Linear Programs in Huge Scale2023

    • Author(s)
      Donghao Zhu, Hanzhang Qin, Kenji Fukumizu
    • Organizer
      Informs Annual Meeting
    • Int'l Joint Research
  • [Presentation] Out-of-Distribution Optimality of Invariant Risk Minimization2023

    • Author(s)
      豊田 祥史, 福水健次
    • Organizer
      第26回情報論的学習理論ワークショップ
  • [Presentation] Invariant Risk Minimization の分布外最適性2023

    • Author(s)
      豊田 祥史
    • Organizer
      統計サマーセミナー2023
  • [Presentation] Invariant Risk Minimization の分布外最適性2023

    • Author(s)
      豊田 祥史
    • Organizer
      2023年度統計関連学会連合大会
  • [Presentation] 群の表現を用いた時系列からの情報抽出2023

    • Author(s)
      福水健次
    • Organizer
      機械学習と複素幾何に関するワークショップ
  • [Presentation] JetDMD: Rigged再生核Hilbert空間におけるデータ駆動型Koopman固有展開2023

    • Author(s)
      石川勳, 橋本悠香, 池田正弘, 河原吉伸
    • Organizer
      第26回情報論的学習理論ワークショップ
  • [Presentation] 動的モード分解を利用した時系列データの連続スペクトル構造の解析2023

    • Author(s)
      坂田逸志, 河原吉伸
    • Organizer
      第26回情報論的学習理論ワークショップ
  • [Presentation] クープマン作用素を介した動力学のデータ解析と機械学習2023

    • Author(s)
      河原吉伸
    • Organizer
      計測自動制御学会制御部門 低次元モデルに基づく先進的流体制御研究調査会 第二回研究会
    • Invited
  • [Presentation] Koopman作用素の学習とデータ駆動によるダイナミクス解析への応用2023

    • Author(s)
      河原吉伸
    • Organizer
      データ駆動科学の最新展開:Koopman作用素の理論から宇宙工学、流体制御まで
    • Invited
  • [Presentation] ランジュバンモンテカルロ法を用いた単語埋め込みのベイズ推論2023

    • Author(s)
      橋本竜馬, 下平英寿
    • Organizer
      2023年度統計関連学会連合大会
  • [Presentation] Hyperbolic space operations and general representations of relation and entity for knowledge graph embedding2023

    • Author(s)
      Zhu Yihua, Hidetoshi Shimodaira
    • Organizer
      第26回情報論的学習理論ワークショップ (IBIS2023)
  • [Presentation] 独立成分に基づく埋め込み表現の解釈と普遍的形状の解明2023

    • Author(s)
      大山百々勢, 山際宏明, 下平英寿
    • Organizer
      第26回情報論的学習理論ワークショップ (IBIS2023)
  • [Presentation] Transformer Language Models Handle Word Frequency in Prediction Head2023

    • Author(s)
      Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, Kentaro Inui
    • Organizer
      The 61st Annual Meeting of the Association for Computational Linguistics (ACL)
    • Int'l Joint Research
  • [Presentation] Contrastive Learning-based Sentence Encoders Implicitly Weight Informative Words2023

    • Author(s)
      Hiroto Kurita, Goro Kobayashi, Sho Yokoi, Kentaro Inui
    • Organizer
      The 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP)
    • Int'l Joint Research

URL: 

Published: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi