• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Fronteers of Data Science by Probabilistic Description and Inference of Dynamics

Planned Research

Project AreaEstablishing data descriptive science and its cross-disciplinary applications
Project/Area Number 22H05106
Research Category

Grant-in-Aid for Transformative Research Areas (A)

Allocation TypeSingle-year Grants
Review Section Transformative Research Areas, Section (II)
Research InstitutionThe Institute of Statistical Mathematics

Principal Investigator

福水 健次  統計数理研究所, 先端データサイエンス研究系, 教授 (60311362)

Co-Investigator(Kenkyū-buntansha) 下平 英寿  京都大学, 情報学研究科, 教授 (00290867)
河原 吉伸  大阪大学, 大学院情報科学研究科, 教授 (00514796)
横井 祥  東北大学, 情報科学研究科, 助教 (60888949)
Project Period (FY) 2022-06-16 – 2027-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥166,790,000 (Direct Cost: ¥128,300,000、Indirect Cost: ¥38,490,000)
Fiscal Year 2025: ¥40,300,000 (Direct Cost: ¥31,000,000、Indirect Cost: ¥9,300,000)
Fiscal Year 2024: ¥39,130,000 (Direct Cost: ¥30,100,000、Indirect Cost: ¥9,030,000)
Fiscal Year 2023: ¥38,350,000 (Direct Cost: ¥29,500,000、Indirect Cost: ¥8,850,000)
Fiscal Year 2022: ¥10,920,000 (Direct Cost: ¥8,400,000、Indirect Cost: ¥2,520,000)
Keywords人工知能 / ダイナミクス / 統計科学 / 時系列解析
Outline of Research at the Start

現在大きな期待を持たれている人工知能技術の中心は,データの性質に依らずに適用できる深層ニューラルネットモデルを大規模化,複雑化することにあるが,様々な課題に人工知能技術を適用していくためには,データ固有の性質のより本質的な記述と汎用的・効率的な人工知能技術とを融合することが重要である.本研究では,データの生成過程と関連性に関する幾何的な記述と推論,データの位相的情報を抽出する記述言語とその統計的信頼性,確率的ダイナミクスによるデータの記述と推論に関して研究を行う.

Outline of Annual Research Achievements

2023年度の研究実績は以下のとおりである.
〇データの生成過程と関連性の幾何的な記述: 自然言語の統計的な生成過程の研究として,単語のコーパス分布を事前分布,文脈における分布を事後分布ととらえ,さまざまな演算を指数型分布族の観点から自然に解釈できることを示した.分布外汎化をもたらすデータの生成過程に関して研究を行い,Invariant Risk Minimizationの方法が正しく動作するための条件を明らかにした.
〇データの位相的情報を抽出する記述言語: パーシステントホモロジーに関して,同一なパーシステント図を与える分布の同値類に関して研究を行い,パーシステント図では判別がつかない分布のクラスを明らかにした.また,グラフ上の非正規化分布に対する最適輸送の効率的アルゴリズムに関して研究を行った.
〇確率的なダイナミクスによるデータの記述と推論: 微分方程式を用いた生成モデルであるフローマッチングの方法に関して,条件付分布からの生成法に関して新たな理論と方法を構築した.また,状態空間モデルにおいて尤度が陽にかけない場合のパラメータ推定の方法に関して研究を行った.さらに,群の作用によって遷移する時系列データを用いて,Autoencoderタイプの深層学習によって非線形なフーリエ変換を学習によって求める方法を開発した.また,クープマン作用素を介した動力学のデータ解析に関して研究を進め,スペクトル構造などさまざまな性質を明らかにした.

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

計画に沿って研究成果が得られており,それらの成果がICLR, ICML, EMNLP, ACLなど当該分野で高い評価を受ける国際会議論文として採択されていることから,計画以上に進展していると判断できる.

Strategy for Future Research Activity

現在行っている研究を継続して発展させるとともに,最近の研究動向を反映して,状態空間モデルを用いた大規模基盤モデルなどの理論,方法の研究や,微分方程式を用いた生成モデルの研究など,新しい分野を開拓する研究も推進していく.

Report

(2 results)
  • 2023 Annual Research Report
  • 2022 Annual Research Report
  • Research Products

    (61 results)

All 2024 2023 2022 Other

All Int'l Joint Research (6 results) Journal Article (21 results) (of which Int'l Joint Research: 4 results,  Peer Reviewed: 16 results,  Open Access: 19 results) Presentation (32 results) (of which Int'l Joint Research: 6 results,  Invited: 12 results) Patent(Industrial Property Rights) (1 results) Funded Workshop (1 results)

  • [Int'l Joint Research] Newcastle University(英国)

    • Related Report
      2023 Annual Research Report
  • [Int'l Joint Research] Pennsylvania State University(米国)

    • Related Report
      2023 Annual Research Report
  • [Int'l Joint Research] National University of Singapore(シンガポール)

    • Related Report
      2023 Annual Research Report
  • [Int'l Joint Research] Pennsylvania State University(米国)

    • Related Report
      2022 Annual Research Report
  • [Int'l Joint Research] University College London/Newcastle University(英国)

    • Related Report
      2022 Annual Research Report
  • [Int'l Joint Research] University of Adelaide(オーストラリア)

    • Related Report
      2022 Annual Research Report
  • [Journal Article] Out-of-Distribution Optimality of Invariant Risk Minimization2024

    • Author(s)
      Shoji Toyota, Kenji Fukumizu
    • Journal Title

      Transactions on Machine Learning Research

      Volume: 2835-8856 Pages: 1-12

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Dynamic mode decomposition for Koopman spectral analysis of elementary cellular automata2024

    • Author(s)
      Taga Keisuke、Kato Yuzuru、Yamazaki Yoshihiro、Kawahara Yoshinobu、Nakao Hiroya
    • Journal Title

      Chaos: An Interdisciplinary Journal of Nonlinear Science

      Volume: 34 Issue: 1 Pages: 0131251-15

    • DOI

      10.1063/5.0159069

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Decentralized policy learning with partial observation and mechanical constraints for multiperson modeling2024

    • Author(s)
      Keisuke Fujii, Naoya Takeishi, Yoshinobu Kawahara, Kazuya Takeda
    • Journal Title

      Neural Networks

      Volume: 171 Pages: 42-50

    • DOI

      10.1016/j.neunet.2023.11.068

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] 3D Rotation and Translation for Hyperbolic Knowledge Graph Embedding2024

    • Author(s)
      Yihua Zhu, Hidetoshi Shimodaira
    • Journal Title

      Proceedings of the 18th Conference of the European Chapter of the Association for Computational Linguistics

      Volume: 1 Pages: 1497-1515

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] A kernel Stein test for comparing latent variable models2023

    • Author(s)
      Heishiro Kanagawa, Wittawat Jitkrittum, Lester Mackey, Kenji Fukumizu, Arthur Gretton
    • Journal Title

      Journal of the Royal Statistical Society Series B

      Volume: 85 Issue: 3 Pages: 986-1011

    • DOI

      10.1093/jrsssb/qkad050

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Estimation with infinite-dimensional exponential family and Fisher divergence2023

    • Author(s)
      Fukumizu Kenji
    • Journal Title

      Information Geometry

      Volume: 7 Issue: S1 Pages: 609-622

    • DOI

      10.1007/s41884-023-00122-z

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Scalable Unbalanced Sobolev Transport for Measures on a Graph2023

    • Author(s)
      Le Tam, Nguyen Truyen, Kenji Fukumizu
    • Journal Title

      Proceedings of The 26th International Conference on Artificial Intelligence and Statistics

      Volume: 206 Pages: 8521-8560

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Controlling Posterior Collapse by an Inverse Lipschitz Constraint on the Decoder Network2023

    • Author(s)
      Yuri Kinoshita, Kenta Oono, Kenji Fukumizu, Yuichi Yoshida, Shin-Ichi Maeda
    • Journal Title

      Proceedings of the 40th International Conference on Machine Learning

      Volume: 202 Pages: 17041-17060

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Neural dynamic mode decomposition for end-to-end modeling of nonlinear dynamics2023

    • Author(s)
      Tomoharu Iwata, Yoshinobu Kawahara
    • Journal Title

      Journal of Computational Dynamics

      Volume: 10 Issue: 2 Pages: 268-280

    • DOI

      10.3934/jcd.2022029

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Stable invariant models via Koopman spectra2023

    • Author(s)
      Takuya Konishi, Yoshinobu Kawahara
    • Journal Title

      Neural Networks

      Volume: 165 Pages: 393-405

    • DOI

      10.1016/j.neunet.2023.05.040

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Improving word mover's distance by leveraging self-attention matrix2023

    • Author(s)
      Yamagiwa Hiroaki, Yokoi Sho, Shimodaira Hidetoshi
    • Journal Title

      Findings of the Association for Computational Linguistics: EMNLP 2023

      Volume: 1 Pages: 11160-11183

    • DOI

      10.18653/v1/2023.findings-emnlp.746

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Norm of Word Embedding Encodes Information Gain2023

    • Author(s)
      Oyama Momose, Yokoi Sho, Shimodaira Hidetoshi
    • Journal Title

      Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing

      Volume: 1 Pages: 2108-2130

    • DOI

      10.18653/v1/2023.emnlp-main.131

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Discovering Universal Geometry in Embeddings with ICA2023

    • Author(s)
      Yamagiwa Hiroaki, Oyama Momose, Shimodaira Hidetoshi
    • Journal Title

      Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing

      Volume: 1 Pages: 4647-4675

    • DOI

      10.18653/v1/2023.emnlp-main.283

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Controlling Posterior Collapse by an Inverse Lipschitz Constraint on the Decoder Network2023

    • Author(s)
      Yuri Kinoshita, Kenta Oono, Kenji Fukumizu, Yuichi Yoshida, Shin-ichi Maeda
    • Journal Title

      Proceedings of the Fortieth International Conference on Machine Learning

      Volume: 1 Pages: 1-7

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Scalable Unbalanced Sobolev Transport for Measures on a Graph2023

    • Author(s)
      Le, T., Nguyen, T, Fukumizu, K.
    • Journal Title

      Proceedings of Machine Learning Research (Proceedings of The 26th International Conference on Artificial Intelligence and Statistics)

      Volume: 206 Pages: 8521-8560

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Transformer言語モデルの予測ヘッド内バイアスによる頻度補正効果2023

    • Author(s)
      小林 悟郎, 栗林 樹生, 横井 祥, 乾 健太郎
    • Journal Title

      言語処理学会 第29回年次大会 発表論文集

      Volume: 1

    • Related Report
      2022 Annual Research Report
    • Open Access
  • [Journal Article] BERTを用いた文埋め込みモデルの単語の暗黙的な重み付け2023

    • Author(s)
      栗田 宙人, 小林 悟郎, 横井 祥, 乾 健太郎.
    • Journal Title

      言語処理学会 第29回年次大会 発表論文集

      Volume: 1

    • Related Report
      2022 Annual Research Report
    • Open Access
  • [Journal Article] 事前学習済み言語モデルによるエンティティの概念化2023

    • Author(s)
      坂田 将樹, 横井 祥, Benjamin Heinzerling, 乾 健太郎.
    • Journal Title

      言語処理学会 第29回年次大会 発表論文集

      Volume: 1

    • Related Report
      2022 Annual Research Report
    • Open Access
  • [Journal Article] 柔らかいジャンプ付き編集距離に向けて2023

    • Author(s)
      亀井 遼平, 横井 祥, 仲村 祐希, 渡辺 太郎, 乾 健太郎.
    • Journal Title

      言語処理学会 第29回年次大会 発表論文集

      Volume: 1

    • Related Report
      2022 Annual Research Report
    • Open Access
  • [Journal Article] 正準角および部分空間に基づくBERTScoreの拡張2023

    • Author(s)
      石橋 陽一, 横井 祥, 須藤 克仁, 中村 哲.
    • Journal Title

      言語処理学会 第29回年次大会 発表論文集

      Volume: 1

    • Related Report
      2022 Annual Research Report
    • Open Access
  • [Journal Article] Estimating counterfactual treatment outcomes over time in multi-vehicle simulation2022

    • Author(s)
      Fujii Keisuke, Takeuchi Koh, Kuribayashi Atsushi, Takeishi Naoya, Kawahara Yoshinobu、Takeda Kazuya
    • Journal Title

      Proceedings of the 30th ACM SIGPATIAL International Conference on Advances in Geographic Information Systems (SIGSPATIAL'22)

      Volume: No. 7 Pages: 1-4

    • DOI

      10.1145/3557915.3560941

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] Machine Learning with Group Theory2024

    • Author(s)
      福水健次
    • Organizer
      The Machine Learning Summer School in Okinawa 2024
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] 人工知能の謎に迫る -- 数理によるアプローチ --2024

    • Author(s)
      福水健次
    • Organizer
      N高等学校/S高等学校研究部特別講演
    • Related Report
      2023 Annual Research Report
    • Invited
  • [Presentation] 依存関係の大きさは意味の関連性を表す2024

    • Author(s)
      大山百々勢, 山際宏明, 下平英寿
    • Organizer
      言語処理学会第30回年次大会(NLP2024)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 大規模言語モデルにおける幻覚緩和のための単語確率の外挿2024

    • Author(s)
      何昀臻,高瀬侑亮,石橋陽一,下平英寿
    • Organizer
      言語処理学会第30回年次大会(NLP2024)
    • Related Report
      2023 Annual Research Report
  • [Presentation] Scalable Unbalanced Sobolev Transport for Measures on a Graph2023

    • Author(s)
      Le Tam, Nguyen Truyen, Kenji Fukumizu
    • Organizer
      The 26th International Conference on Artificial Intelligence and Statistics (AISTATS 2023)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 粗いラベルによるInvariant Risk Minimization2023

    • Author(s)
      豊田祥史
    • Organizer
      電子情報通信学会九州支部講演会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Solving Choice-Based Linear Programs in Huge Scale2023

    • Author(s)
      Donghao Zhu, Hanzhang Qin, Kenji Fukumizu
    • Organizer
      Informs Annual Meeting
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Out-of-Distribution Optimality of Invariant Risk Minimization2023

    • Author(s)
      豊田 祥史, 福水健次
    • Organizer
      第26回情報論的学習理論ワークショップ
    • Related Report
      2023 Annual Research Report
  • [Presentation] Invariant Risk Minimization の分布外最適性2023

    • Author(s)
      豊田 祥史
    • Organizer
      統計サマーセミナー2023
    • Related Report
      2023 Annual Research Report
  • [Presentation] Invariant Risk Minimization の分布外最適性2023

    • Author(s)
      豊田 祥史
    • Organizer
      2023年度統計関連学会連合大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] 群の表現を用いた時系列からの情報抽出2023

    • Author(s)
      福水健次
    • Organizer
      機械学習と複素幾何に関するワークショップ
    • Related Report
      2023 Annual Research Report 2022 Annual Research Report
  • [Presentation] JetDMD: Rigged再生核Hilbert空間におけるデータ駆動型Koopman固有展開2023

    • Author(s)
      石川勳, 橋本悠香, 池田正弘, 河原吉伸
    • Organizer
      第26回情報論的学習理論ワークショップ
    • Related Report
      2023 Annual Research Report
  • [Presentation] 動的モード分解を利用した時系列データの連続スペクトル構造の解析2023

    • Author(s)
      坂田逸志, 河原吉伸
    • Organizer
      第26回情報論的学習理論ワークショップ
    • Related Report
      2023 Annual Research Report
  • [Presentation] クープマン作用素を介した動力学のデータ解析と機械学習2023

    • Author(s)
      河原吉伸
    • Organizer
      計測自動制御学会制御部門 低次元モデルに基づく先進的流体制御研究調査会 第二回研究会
    • Related Report
      2023 Annual Research Report
    • Invited
  • [Presentation] Koopman作用素の学習とデータ駆動によるダイナミクス解析への応用2023

    • Author(s)
      河原吉伸
    • Organizer
      データ駆動科学の最新展開:Koopman作用素の理論から宇宙工学、流体制御まで
    • Related Report
      2023 Annual Research Report
    • Invited
  • [Presentation] ランジュバンモンテカルロ法を用いた単語埋め込みのベイズ推論2023

    • Author(s)
      橋本竜馬, 下平英寿
    • Organizer
      2023年度統計関連学会連合大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] Hyperbolic space operations and general representations of relation and entity for knowledge graph embedding2023

    • Author(s)
      Zhu Yihua, Hidetoshi Shimodaira
    • Organizer
      第26回情報論的学習理論ワークショップ (IBIS2023)
    • Related Report
      2023 Annual Research Report
  • [Presentation] 独立成分に基づく埋め込み表現の解釈と普遍的形状の解明2023

    • Author(s)
      大山百々勢, 山際宏明, 下平英寿
    • Organizer
      第26回情報論的学習理論ワークショップ (IBIS2023)
    • Related Report
      2023 Annual Research Report
  • [Presentation] Transformer Language Models Handle Word Frequency in Prediction Head2023

    • Author(s)
      Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, Kentaro Inui
    • Organizer
      The 61st Annual Meeting of the Association for Computational Linguistics (ACL)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Contrastive Learning-based Sentence Encoders Implicitly Weight Informative Words2023

    • Author(s)
      Hiroto Kurita, Goro Kobayashi, Sho Yokoi, Kentaro Inui
    • Organizer
      The 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP)
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 系列データを用いた同変性による表現学習2023

    • Author(s)
      福水健次
    • Organizer
      公開シンポジウム データ駆動科学と情報計測の新展開
    • Related Report
      2022 Annual Research Report
    • Invited
  • [Presentation] 群の作用により生成される時系列データからの表現学習2023

    • Author(s)
      福水健次
    • Organizer
      パーシステントホモロジー と表現論
    • Related Report
      2022 Annual Research Report
    • Invited
  • [Presentation] データ駆動による複雑ダイナミクス解析の新展開2023

    • Author(s)
      河原吉伸
    • Organizer
      公開シンポジウム データ駆動科学と情報計測の新展開
    • Related Report
      2022 Annual Research Report
    • Invited
  • [Presentation] Isotropy of word embedding space2023

    • Author(s)
      横井祥
    • Organizer
      第4回理研AIP数学系合同セミナー
    • Related Report
      2022 Annual Research Report
    • Invited
  • [Presentation] ChatGPT と自然言語処理2023

    • Author(s)
      横井祥
    • Organizer
      言語の意味の計算と最適輸送. Workshop OT 2023
    • Related Report
      2022 Annual Research Report
    • Invited
  • [Presentation] Representation Learning of Equivariant Structure from Sequences2023

    • Author(s)
      Kenji Fukumizu
    • Organizer
      Workshop on Functional Inference and Machine Intelligence 2023
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] 位相的データ解析とその応用2022

    • Author(s)
      福水健次
    • Organizer
      天文学における データ科学的方法
    • Related Report
      2022 Annual Research Report
    • Invited
  • [Presentation] 構造を持った言語データと最適輸送2022

    • Author(s)
      横井祥
    • Organizer
      NAIST DSC NLP Seminar 2022
    • Related Report
      2022 Annual Research Report
    • Invited
  • [Presentation] 報酬が過去の履歴に依存する場合のバンディットアルゴリズム2022

    • Author(s)
      谷本悠斗; 福水健次
    • Organizer
      第25回情報論的学習理論ワークショップ (IBIS2022)
    • Related Report
      2022 Annual Research Report
  • [Presentation] ラベルの階層性による不変学習2022

    • Author(s)
      豊田祥史; 福水健次
    • Organizer
      第25回情報論的学習理論ワークショップ (IBIS2022)
    • Related Report
      2022 Annual Research Report
  • [Presentation] 単語ベクトルの長さはKL情報量で解釈可能な意味の強さを表す2022

    • Author(s)
      大山百々勢, 横井祥, 下平英寿
    • Organizer
      第25回情報論的学習理論ワークショップ (IBIS2022)
    • Related Report
      2022 Annual Research Report
  • [Presentation] Heterogeneous-featureを用いたマルチタスク転移学習2022

    • Author(s)
      Runsen Li, 奥野彰文, 下平英寿
    • Organizer
      第25回情報論的学習理論ワークショップ (IBIS2022)
    • Related Report
      2022 Annual Research Report
  • [Patent(Industrial Property Rights)] 制御方法、制御装置、及びプログラム2022

    • Inventor(s)
      岩田具治, 河原吉伸
    • Industrial Property Rights Holder
      日本電信電話株式会社, 国立大学法人九州大学
    • Industrial Property Rights Type
      特許
    • Patent Publication Number
      2023-003532
    • Filing Date
      2022
    • Related Report
      2022 Annual Research Report
  • [Funded Workshop] Workshop on Functional Inference and Machine Intelligence 20232023

    • Related Report
      2022 Annual Research Report

URL: 

Published: 2022-06-20   Modified: 2025-04-17  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi