• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

ダイナミクスの確率的記述と推論により拓く新しいデータ科学

計画研究

研究領域データ記述科学の創出と諸分野への横断的展開
研究課題/領域番号 22H05106
研究種目

学術変革領域研究(A)

配分区分補助金
審査区分 学術変革領域研究区分(Ⅱ)
研究機関統計数理研究所

研究代表者

福水 健次  統計数理研究所, 先端データサイエンス研究系, 教授 (60311362)

研究分担者 下平 英寿  京都大学, 情報学研究科, 教授 (00290867)
河原 吉伸  大阪大学, 大学院情報科学研究科, 教授 (00514796)
横井 祥  東北大学, 情報科学研究科, 助教 (60888949)
研究期間 (年度) 2022-06-16 – 2027-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
166,790千円 (直接経費: 128,300千円、間接経費: 38,490千円)
2025年度: 40,300千円 (直接経費: 31,000千円、間接経費: 9,300千円)
2024年度: 39,130千円 (直接経費: 30,100千円、間接経費: 9,030千円)
2023年度: 38,350千円 (直接経費: 29,500千円、間接経費: 8,850千円)
2022年度: 10,920千円 (直接経費: 8,400千円、間接経費: 2,520千円)
キーワード人工知能 / ダイナミクス / 統計科学 / 時系列解析
研究開始時の研究の概要

現在大きな期待を持たれている人工知能技術の中心は,データの性質に依らずに適用できる深層ニューラルネットモデルを大規模化,複雑化することにあるが,様々な課題に人工知能技術を適用していくためには,データ固有の性質のより本質的な記述と汎用的・効率的な人工知能技術とを融合することが重要である.本研究では,データの生成過程と関連性に関する幾何的な記述と推論,データの位相的情報を抽出する記述言語とその統計的信頼性,確率的ダイナミクスによるデータの記述と推論に関して研究を行う.

研究実績の概要

2023年度の研究実績は以下のとおりである.
〇データの生成過程と関連性の幾何的な記述: 自然言語の統計的な生成過程の研究として,単語のコーパス分布を事前分布,文脈における分布を事後分布ととらえ,さまざまな演算を指数型分布族の観点から自然に解釈できることを示した.分布外汎化をもたらすデータの生成過程に関して研究を行い,Invariant Risk Minimizationの方法が正しく動作するための条件を明らかにした.
〇データの位相的情報を抽出する記述言語: パーシステントホモロジーに関して,同一なパーシステント図を与える分布の同値類に関して研究を行い,パーシステント図では判別がつかない分布のクラスを明らかにした.また,グラフ上の非正規化分布に対する最適輸送の効率的アルゴリズムに関して研究を行った.
〇確率的なダイナミクスによるデータの記述と推論: 微分方程式を用いた生成モデルであるフローマッチングの方法に関して,条件付分布からの生成法に関して新たな理論と方法を構築した.また,状態空間モデルにおいて尤度が陽にかけない場合のパラメータ推定の方法に関して研究を行った.さらに,群の作用によって遷移する時系列データを用いて,Autoencoderタイプの深層学習によって非線形なフーリエ変換を学習によって求める方法を開発した.また,クープマン作用素を介した動力学のデータ解析に関して研究を進め,スペクトル構造などさまざまな性質を明らかにした.

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

計画に沿って研究成果が得られており,それらの成果がICLR, ICML, EMNLP, ACLなど当該分野で高い評価を受ける国際会議論文として採択されていることから,計画以上に進展していると判断できる.

今後の研究の推進方策

現在行っている研究を継続して発展させるとともに,最近の研究動向を反映して,状態空間モデルを用いた大規模基盤モデルなどの理論,方法の研究や,微分方程式を用いた生成モデルの研究など,新しい分野を開拓する研究も推進していく.

報告書

(2件)
  • 2023 実績報告書
  • 2022 実績報告書
  • 研究成果

    (61件)

すべて 2024 2023 2022 その他

すべて 国際共同研究 (6件) 雑誌論文 (21件) (うち国際共著 4件、 査読あり 16件、 オープンアクセス 19件) 学会発表 (32件) (うち国際学会 6件、 招待講演 12件) 産業財産権 (1件) 学会・シンポジウム開催 (1件)

  • [国際共同研究] Newcastle University(英国)

    • 関連する報告書
      2023 実績報告書
  • [国際共同研究] Pennsylvania State University(米国)

    • 関連する報告書
      2023 実績報告書
  • [国際共同研究] National University of Singapore(シンガポール)

    • 関連する報告書
      2023 実績報告書
  • [国際共同研究] Pennsylvania State University(米国)

    • 関連する報告書
      2022 実績報告書
  • [国際共同研究] University College London/Newcastle University(英国)

    • 関連する報告書
      2022 実績報告書
  • [国際共同研究] University of Adelaide(オーストラリア)

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] Out-of-Distribution Optimality of Invariant Risk Minimization2024

    • 著者名/発表者名
      Shoji Toyota, Kenji Fukumizu
    • 雑誌名

      Transactions on Machine Learning Research

      巻: 2835-8856 ページ: 1-12

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Dynamic mode decomposition for Koopman spectral analysis of elementary cellular automata2024

    • 著者名/発表者名
      Taga Keisuke、Kato Yuzuru、Yamazaki Yoshihiro、Kawahara Yoshinobu、Nakao Hiroya
    • 雑誌名

      Chaos: An Interdisciplinary Journal of Nonlinear Science

      巻: 34 号: 1 ページ: 0131251-15

    • DOI

      10.1063/5.0159069

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Decentralized policy learning with partial observation and mechanical constraints for multiperson modeling2024

    • 著者名/発表者名
      Keisuke Fujii, Naoya Takeishi, Yoshinobu Kawahara, Kazuya Takeda
    • 雑誌名

      Neural Networks

      巻: 171 ページ: 42-50

    • DOI

      10.1016/j.neunet.2023.11.068

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] 3D Rotation and Translation for Hyperbolic Knowledge Graph Embedding2024

    • 著者名/発表者名
      Yihua Zhu, Hidetoshi Shimodaira
    • 雑誌名

      Proceedings of the 18th Conference of the European Chapter of the Association for Computational Linguistics

      巻: 1 ページ: 1497-1515

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] A kernel Stein test for comparing latent variable models2023

    • 著者名/発表者名
      Heishiro Kanagawa, Wittawat Jitkrittum, Lester Mackey, Kenji Fukumizu, Arthur Gretton
    • 雑誌名

      Journal of the Royal Statistical Society Series B

      巻: 85 号: 3 ページ: 986-1011

    • DOI

      10.1093/jrsssb/qkad050

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Estimation with infinite-dimensional exponential family and Fisher divergence2023

    • 著者名/発表者名
      Fukumizu Kenji
    • 雑誌名

      Information Geometry

      巻: 7 号: S1 ページ: 609-622

    • DOI

      10.1007/s41884-023-00122-z

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Scalable Unbalanced Sobolev Transport for Measures on a Graph2023

    • 著者名/発表者名
      Le Tam, Nguyen Truyen, Kenji Fukumizu
    • 雑誌名

      Proceedings of The 26th International Conference on Artificial Intelligence and Statistics

      巻: 206 ページ: 8521-8560

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Controlling Posterior Collapse by an Inverse Lipschitz Constraint on the Decoder Network2023

    • 著者名/発表者名
      Yuri Kinoshita, Kenta Oono, Kenji Fukumizu, Yuichi Yoshida, Shin-Ichi Maeda
    • 雑誌名

      Proceedings of the 40th International Conference on Machine Learning

      巻: 202 ページ: 17041-17060

    • 関連する報告書
      2023 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Neural dynamic mode decomposition for end-to-end modeling of nonlinear dynamics2023

    • 著者名/発表者名
      Tomoharu Iwata, Yoshinobu Kawahara
    • 雑誌名

      Journal of Computational Dynamics

      巻: 10 号: 2 ページ: 268-280

    • DOI

      10.3934/jcd.2022029

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Stable invariant models via Koopman spectra2023

    • 著者名/発表者名
      Takuya Konishi, Yoshinobu Kawahara
    • 雑誌名

      Neural Networks

      巻: 165 ページ: 393-405

    • DOI

      10.1016/j.neunet.2023.05.040

    • 関連する報告書
      2023 実績報告書
    • 査読あり
  • [雑誌論文] Improving word mover's distance by leveraging self-attention matrix2023

    • 著者名/発表者名
      Yamagiwa Hiroaki, Yokoi Sho, Shimodaira Hidetoshi
    • 雑誌名

      Findings of the Association for Computational Linguistics: EMNLP 2023

      巻: 1 ページ: 11160-11183

    • DOI

      10.18653/v1/2023.findings-emnlp.746

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Norm of Word Embedding Encodes Information Gain2023

    • 著者名/発表者名
      Oyama Momose, Yokoi Sho, Shimodaira Hidetoshi
    • 雑誌名

      Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing

      巻: 1 ページ: 2108-2130

    • DOI

      10.18653/v1/2023.emnlp-main.131

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Discovering Universal Geometry in Embeddings with ICA2023

    • 著者名/発表者名
      Yamagiwa Hiroaki, Oyama Momose, Shimodaira Hidetoshi
    • 雑誌名

      Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing

      巻: 1 ページ: 4647-4675

    • DOI

      10.18653/v1/2023.emnlp-main.283

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Controlling Posterior Collapse by an Inverse Lipschitz Constraint on the Decoder Network2023

    • 著者名/発表者名
      Yuri Kinoshita, Kenta Oono, Kenji Fukumizu, Yuichi Yoshida, Shin-ichi Maeda
    • 雑誌名

      Proceedings of the Fortieth International Conference on Machine Learning

      巻: 1 ページ: 1-7

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Scalable Unbalanced Sobolev Transport for Measures on a Graph2023

    • 著者名/発表者名
      Le, T., Nguyen, T, Fukumizu, K.
    • 雑誌名

      Proceedings of Machine Learning Research (Proceedings of The 26th International Conference on Artificial Intelligence and Statistics)

      巻: 206 ページ: 8521-8560

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Transformer言語モデルの予測ヘッド内バイアスによる頻度補正効果2023

    • 著者名/発表者名
      小林 悟郎, 栗林 樹生, 横井 祥, 乾 健太郎
    • 雑誌名

      言語処理学会 第29回年次大会 発表論文集

      巻: 1

    • 関連する報告書
      2022 実績報告書
    • オープンアクセス
  • [雑誌論文] BERTを用いた文埋め込みモデルの単語の暗黙的な重み付け2023

    • 著者名/発表者名
      栗田 宙人, 小林 悟郎, 横井 祥, 乾 健太郎.
    • 雑誌名

      言語処理学会 第29回年次大会 発表論文集

      巻: 1

    • 関連する報告書
      2022 実績報告書
    • オープンアクセス
  • [雑誌論文] 事前学習済み言語モデルによるエンティティの概念化2023

    • 著者名/発表者名
      坂田 将樹, 横井 祥, Benjamin Heinzerling, 乾 健太郎.
    • 雑誌名

      言語処理学会 第29回年次大会 発表論文集

      巻: 1

    • 関連する報告書
      2022 実績報告書
    • オープンアクセス
  • [雑誌論文] 柔らかいジャンプ付き編集距離に向けて2023

    • 著者名/発表者名
      亀井 遼平, 横井 祥, 仲村 祐希, 渡辺 太郎, 乾 健太郎.
    • 雑誌名

      言語処理学会 第29回年次大会 発表論文集

      巻: 1

    • 関連する報告書
      2022 実績報告書
    • オープンアクセス
  • [雑誌論文] 正準角および部分空間に基づくBERTScoreの拡張2023

    • 著者名/発表者名
      石橋 陽一, 横井 祥, 須藤 克仁, 中村 哲.
    • 雑誌名

      言語処理学会 第29回年次大会 発表論文集

      巻: 1

    • 関連する報告書
      2022 実績報告書
    • オープンアクセス
  • [雑誌論文] Estimating counterfactual treatment outcomes over time in multi-vehicle simulation2022

    • 著者名/発表者名
      Fujii Keisuke, Takeuchi Koh, Kuribayashi Atsushi, Takeishi Naoya, Kawahara Yoshinobu、Takeda Kazuya
    • 雑誌名

      Proceedings of the 30th ACM SIGPATIAL International Conference on Advances in Geographic Information Systems (SIGSPATIAL'22)

      巻: No. 7 ページ: 1-4

    • DOI

      10.1145/3557915.3560941

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] Machine Learning with Group Theory2024

    • 著者名/発表者名
      福水健次
    • 学会等名
      The Machine Learning Summer School in Okinawa 2024
    • 関連する報告書
      2023 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] 人工知能の謎に迫る -- 数理によるアプローチ --2024

    • 著者名/発表者名
      福水健次
    • 学会等名
      N高等学校/S高等学校研究部特別講演
    • 関連する報告書
      2023 実績報告書
    • 招待講演
  • [学会発表] 依存関係の大きさは意味の関連性を表す2024

    • 著者名/発表者名
      大山百々勢, 山際宏明, 下平英寿
    • 学会等名
      言語処理学会第30回年次大会(NLP2024)
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 大規模言語モデルにおける幻覚緩和のための単語確率の外挿2024

    • 著者名/発表者名
      何昀臻,高瀬侑亮,石橋陽一,下平英寿
    • 学会等名
      言語処理学会第30回年次大会(NLP2024)
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Scalable Unbalanced Sobolev Transport for Measures on a Graph2023

    • 著者名/発表者名
      Le Tam, Nguyen Truyen, Kenji Fukumizu
    • 学会等名
      The 26th International Conference on Artificial Intelligence and Statistics (AISTATS 2023)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] 粗いラベルによるInvariant Risk Minimization2023

    • 著者名/発表者名
      豊田祥史
    • 学会等名
      電子情報通信学会九州支部講演会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Solving Choice-Based Linear Programs in Huge Scale2023

    • 著者名/発表者名
      Donghao Zhu, Hanzhang Qin, Kenji Fukumizu
    • 学会等名
      Informs Annual Meeting
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Out-of-Distribution Optimality of Invariant Risk Minimization2023

    • 著者名/発表者名
      豊田 祥史, 福水健次
    • 学会等名
      第26回情報論的学習理論ワークショップ
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Invariant Risk Minimization の分布外最適性2023

    • 著者名/発表者名
      豊田 祥史
    • 学会等名
      統計サマーセミナー2023
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Invariant Risk Minimization の分布外最適性2023

    • 著者名/発表者名
      豊田 祥史
    • 学会等名
      2023年度統計関連学会連合大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 群の表現を用いた時系列からの情報抽出2023

    • 著者名/発表者名
      福水健次
    • 学会等名
      機械学習と複素幾何に関するワークショップ
    • 関連する報告書
      2023 実績報告書 2022 実績報告書
  • [学会発表] JetDMD: Rigged再生核Hilbert空間におけるデータ駆動型Koopman固有展開2023

    • 著者名/発表者名
      石川勳, 橋本悠香, 池田正弘, 河原吉伸
    • 学会等名
      第26回情報論的学習理論ワークショップ
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 動的モード分解を利用した時系列データの連続スペクトル構造の解析2023

    • 著者名/発表者名
      坂田逸志, 河原吉伸
    • 学会等名
      第26回情報論的学習理論ワークショップ
    • 関連する報告書
      2023 実績報告書
  • [学会発表] クープマン作用素を介した動力学のデータ解析と機械学習2023

    • 著者名/発表者名
      河原吉伸
    • 学会等名
      計測自動制御学会制御部門 低次元モデルに基づく先進的流体制御研究調査会 第二回研究会
    • 関連する報告書
      2023 実績報告書
    • 招待講演
  • [学会発表] Koopman作用素の学習とデータ駆動によるダイナミクス解析への応用2023

    • 著者名/発表者名
      河原吉伸
    • 学会等名
      データ駆動科学の最新展開:Koopman作用素の理論から宇宙工学、流体制御まで
    • 関連する報告書
      2023 実績報告書
    • 招待講演
  • [学会発表] ランジュバンモンテカルロ法を用いた単語埋め込みのベイズ推論2023

    • 著者名/発表者名
      橋本竜馬, 下平英寿
    • 学会等名
      2023年度統計関連学会連合大会
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Hyperbolic space operations and general representations of relation and entity for knowledge graph embedding2023

    • 著者名/発表者名
      Zhu Yihua, Hidetoshi Shimodaira
    • 学会等名
      第26回情報論的学習理論ワークショップ (IBIS2023)
    • 関連する報告書
      2023 実績報告書
  • [学会発表] 独立成分に基づく埋め込み表現の解釈と普遍的形状の解明2023

    • 著者名/発表者名
      大山百々勢, 山際宏明, 下平英寿
    • 学会等名
      第26回情報論的学習理論ワークショップ (IBIS2023)
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Transformer Language Models Handle Word Frequency in Prediction Head2023

    • 著者名/発表者名
      Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, Kentaro Inui
    • 学会等名
      The 61st Annual Meeting of the Association for Computational Linguistics (ACL)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] Contrastive Learning-based Sentence Encoders Implicitly Weight Informative Words2023

    • 著者名/発表者名
      Hiroto Kurita, Goro Kobayashi, Sho Yokoi, Kentaro Inui
    • 学会等名
      The 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP)
    • 関連する報告書
      2023 実績報告書
    • 国際学会
  • [学会発表] 系列データを用いた同変性による表現学習2023

    • 著者名/発表者名
      福水健次
    • 学会等名
      公開シンポジウム データ駆動科学と情報計測の新展開
    • 関連する報告書
      2022 実績報告書
    • 招待講演
  • [学会発表] 群の作用により生成される時系列データからの表現学習2023

    • 著者名/発表者名
      福水健次
    • 学会等名
      パーシステントホモロジー と表現論
    • 関連する報告書
      2022 実績報告書
    • 招待講演
  • [学会発表] データ駆動による複雑ダイナミクス解析の新展開2023

    • 著者名/発表者名
      河原吉伸
    • 学会等名
      公開シンポジウム データ駆動科学と情報計測の新展開
    • 関連する報告書
      2022 実績報告書
    • 招待講演
  • [学会発表] Isotropy of word embedding space2023

    • 著者名/発表者名
      横井祥
    • 学会等名
      第4回理研AIP数学系合同セミナー
    • 関連する報告書
      2022 実績報告書
    • 招待講演
  • [学会発表] ChatGPT と自然言語処理2023

    • 著者名/発表者名
      横井祥
    • 学会等名
      言語の意味の計算と最適輸送. Workshop OT 2023
    • 関連する報告書
      2022 実績報告書
    • 招待講演
  • [学会発表] Representation Learning of Equivariant Structure from Sequences2023

    • 著者名/発表者名
      Kenji Fukumizu
    • 学会等名
      Workshop on Functional Inference and Machine Intelligence 2023
    • 関連する報告書
      2022 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] 位相的データ解析とその応用2022

    • 著者名/発表者名
      福水健次
    • 学会等名
      天文学における データ科学的方法
    • 関連する報告書
      2022 実績報告書
    • 招待講演
  • [学会発表] 構造を持った言語データと最適輸送2022

    • 著者名/発表者名
      横井祥
    • 学会等名
      NAIST DSC NLP Seminar 2022
    • 関連する報告書
      2022 実績報告書
    • 招待講演
  • [学会発表] 報酬が過去の履歴に依存する場合のバンディットアルゴリズム2022

    • 著者名/発表者名
      谷本悠斗; 福水健次
    • 学会等名
      第25回情報論的学習理論ワークショップ (IBIS2022)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] ラベルの階層性による不変学習2022

    • 著者名/発表者名
      豊田祥史; 福水健次
    • 学会等名
      第25回情報論的学習理論ワークショップ (IBIS2022)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] 単語ベクトルの長さはKL情報量で解釈可能な意味の強さを表す2022

    • 著者名/発表者名
      大山百々勢, 横井祥, 下平英寿
    • 学会等名
      第25回情報論的学習理論ワークショップ (IBIS2022)
    • 関連する報告書
      2022 実績報告書
  • [学会発表] Heterogeneous-featureを用いたマルチタスク転移学習2022

    • 著者名/発表者名
      Runsen Li, 奥野彰文, 下平英寿
    • 学会等名
      第25回情報論的学習理論ワークショップ (IBIS2022)
    • 関連する報告書
      2022 実績報告書
  • [産業財産権] 制御方法、制御装置、及びプログラム2022

    • 発明者名
      岩田具治, 河原吉伸
    • 権利者名
      日本電信電話株式会社, 国立大学法人九州大学
    • 産業財産権種類
      特許
    • 公開番号
      2023-003532
    • 出願年月日
      2022
    • 関連する報告書
      2022 実績報告書
  • [学会・シンポジウム開催] Workshop on Functional Inference and Machine Intelligence 20232023

    • 関連する報告書
      2022 実績報告書

URL: 

公開日: 2022-06-20   更新日: 2025-04-17  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi