• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2023 年度 実績報告書

深層学習に対する数値解析的アプローチ基盤の創出

研究課題

研究課題/領域番号 20H01822
研究機関大阪大学

研究代表者

降籏 大介  大阪大学, サイバーメディアセンター, 教授 (80242014)

研究分担者 松尾 宇泰  東京大学, 大学院情報理工学系研究科, 教授 (90293670)
田中 健一郎  東京大学, 大学院情報理工学系研究科, 准教授 (70610640)
宮武 勇登  大阪大学, サイバーメディアセンター, 准教授 (60757384)
佐藤 峻  東京大学, 大学院情報理工学系研究科, 助教 (40849072)
研究期間 (年度) 2020-04-01 – 2024-03-31
キーワード深層学習 / 数値解析 / 微分方程式 / 数値積分 / 関数近似
研究実績の概要

申請計画書にあるように本研究計画は数値微分方程式班と関数近似・数値積分班の2つの作業班を軸とし,それに俯瞰・統合班および深層学習協力者を加えて全体を構成するものであり,そしていくつかのフェーズからなるものである.前年度までの計画第2フェーズに引き続き本計画最終フェーズである第3フェーズ「基盤に基づく発展的展開」に段階をすすめる形で統合班の指揮の下,全体が一体として協働し,以下の研究を行った.
まず「数値解析学的DNN構成法の探求」テーマについて数値微分方程式班と関数近似・数値積分班の協働により研究を推進した.内容としては前フェーズで得た数値微分方程式・数値積分班の成果を統合して数値解析学的の立場からDNNの構成法について統一的な枠組み構成について検討し,さらに構造保存解法に基づくDNN構築可能性を模索するものである.さらに,最悪誤差最小化公式をもつ最先端の数値積分手法に基づくDNN構築法を探求した.
さらに,「より複雑なDNNへの挑戦」テーマに主に関数近似・数値積分班が主導の形で研究に取組み,現状で提唱されている種々の複雑なDNNについて非一様格子上での適合的解釈を適用し,さらにモデル縮減によるスケーラブル解法や並列実行可能な手法を用いてこうした拡張の研究を行った.
また,「数値解析学へのフィードバックの挑戦」テーマに数値微分方程式班と関数近似・数値積分班が協働し研究を推進した.これは数値解析学で扱う近似精度に代わるDNN上の概念のフィードバックや,DNNがもつ積分変換としての性質の数値解析学へのフィードバックについての展開としての研究を進めた.

現在までの達成度 (段落)

令和5年度が最終年度であるため、記入しない。

今後の研究の推進方策

令和5年度が最終年度であるため、記入しない。

  • 研究成果

    (30件)

すべて 2024 2023

すべて 雑誌論文 (11件) (うち国際共著 2件、 査読あり 11件、 オープンアクセス 10件) 学会発表 (18件) (うち国際学会 6件、 招待講演 3件) 図書 (1件)

  • [雑誌論文] Existence results on Lagrange multiplier approach for gradient flows and application to optimization2024

    • 著者名/発表者名
      Kenya Onuma, Shun Sato
    • 雑誌名

      Japan Journal of Industrial and Applied Mathematics

      巻: 41 ページ: 165--189

    • DOI

      10.1007/s13160-023-00595-6

    • 査読あり / オープンアクセス
  • [雑誌論文] Properties and practicability of convergence-guaranteed optimization methods derived from weak discrete gradients2024

    • 著者名/発表者名
      Kansei Ushiyama and Shun Sato and Takayasu Matsuo
    • 雑誌名

      Numerical Algorithms

      巻: - ページ: -

    • DOI

      10.1007/s11075-024-01790-3

    • 査読あり / オープンアクセス
  • [雑誌論文] High-order linearly implicit exponential integrators conserving quadratic invariants with application to scalar auxiliary variable approach2024

    • 著者名/発表者名
      Shun Sato
    • 雑誌名

      Numerical Algorithms

      巻: - ページ: -

    • DOI

      10.1007/s11075-024-01781-4

    • 査読あり / オープンアクセス
  • [雑誌論文] Wavelet characterization of exponentially weighted Besov space with dominating mixed smoothness and its application to function approximation2024

    • 著者名/発表者名
      Yoshihiro Kogure and Ken’ichiro Tanaka
    • 雑誌名

      Journal of Approximation Theory

      巻: - ページ: 106037

    • DOI

      10.1016/j.jat.2024.106037

    • 査読あり
  • [雑誌論文] Convergence analysis of approximation formulas for analytic functions via duality for potential energy minimization2024

    • 著者名/発表者名
      Satoshi Hayakawa and Ken’ichiro Tanaka
    • 雑誌名

      Japan Journal of Industrial and Applied Mathematics

      巻: 41 ページ: 105--127

    • DOI

      10.1007/s13160-023-00588-5

    • 査読あり / オープンアクセス
  • [雑誌論文] Lyapunov-Stable Deep Equilibrium Models2024

    • 著者名/発表者名
      Haoyu Chu and Shikui Wei and Ting Liu and Yao Zhao and Yuto Miyatake
    • 雑誌名

      Proceedings of the AAAI Conference on Artificial Intelligence

      巻: 38 ページ: 11615--11623

    • DOI

      10.1609/aaai.v38i10.29044

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] High-order linearly implicit schemes conserving quadratic invariants2023

    • 著者名/発表者名
      Shun Sato, Yuto Miyatake, John C. Butcher
    • 雑誌名

      Applied Numerical Mathematics

      巻: 187 ページ: 71--88

    • DOI

      10.1016/j.apnum.2023.02.005

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] A unified discretization framework for differential equation approach with Lyapunov arguments for convex optimization2023

    • 著者名/発表者名
      Kansei Ushiyama, Shun Sato, Takayasu Matsuo
    • 雑誌名

      Advances in Neural Information Processing Systems

      巻: 36 ページ: 26092--26120

    • 査読あり / オープンアクセス
  • [雑誌論文] The Symplectic Adjoint Method: Memory-Efficient Backpropagation of Neural-Network-Based Differential Equations2023

    • 著者名/発表者名
      Takashi Matsubara and Yuto Miyatake and Takaharu Yaguchi
    • 雑誌名

      IEEE Transactions on Neural Networks and Learning Systems

      巻: early access ページ: 1--13

    • DOI

      10.1109/tnnls.2023.3242345

    • 査読あり / オープンアクセス
  • [雑誌論文] Modelling the discretization error of initial value problems using the Wishart distribution2023

    • 著者名/発表者名
      Naoki Marumo and Takeru Matsuda and Yuto Miyatake
    • 雑誌名

      Applied Mathematics Letters

      巻: 147 ページ: 108833

    • DOI

      10.1016/j.aml.2023.108833

    • 査読あり / オープンアクセス
  • [雑誌論文] A modified model for topic detection from a corpus and a new metric evaluating the understandability of topics2023

    • 著者名/発表者名
      Kitano Tomoya and Miyatake Yuto and Furihata Daisuke
    • 雑誌名

      JSIAM Letters

      巻: 15 ページ: 121--124

    • DOI

      10.14495/jsiaml.15.121

    • 査読あり / オープンアクセス
  • [学会発表] 最適化手法の連続時間モデルに対する新しい収束率解析法2024

    • 著者名/発表者名
      牛山 寛生, 佐藤 峻, 松尾 宇泰
    • 学会等名
      日本応用数理学会 第20回 研究部会連合発表会
  • [学会発表] 光錐座標上のsine-Gordon方程式の構造保存的2段スキームの数学的解析2024

    • 著者名/発表者名
      川合 秀人, 佐藤 峻
    • 学会等名
      日本応用数理学会 第20回 研究部会連合発表会
  • [学会発表] 部分和分作用素を用いた離散変分導関数法2024

    • 著者名/発表者名
      梅津 光汰, 佐藤 峻, 松尾 宇泰
    • 学会等名
      日本応用数理学会 第20回 研究部会連合発表会
  • [学会発表] Convergence rates of optimization methods in continuous and discrete time2024

    • 著者名/発表者名
      Shun Sato
    • 学会等名
      International Conference on Scientific Computing and Machine Learning 2024
    • 国際学会 / 招待講演
  • [学会発表] Adjoint-based exact Hessian computation2024

    • 著者名/発表者名
      Yuto Miyatake
    • 学会等名
      Workshop on Functional Inference and Machine Intelligence
    • 国際学会
  • [学会発表] A particle method based on Voronoi decomposition for the Cahn-Hilliard equation2024

    • 著者名/発表者名
      Daisuke Furihata
    • 学会等名
      Structured Machine Learning and Time-Stepping for Dynamical System
    • 国際学会 / 招待講演
  • [学会発表] 最適化のための Runge--Kutta--Chebyshev 法における曲線探索法2023

    • 著者名/発表者名
      牛山 寛生, 佐藤 峻, 松尾 宇泰
    • 学会等名
      第49回 数値解析シンポジウム
  • [学会発表] KdV 型発展方程式に対するエネルギー保存解法の数学的解析手法について2023

    • 著者名/発表者名
      川合 秀人, 松尾 宇泰, 佐藤 峻
    • 学会等名
      第49回 数値解析シンポジウム
  • [学会発表] アフィン座標変換に対して不変な射影を用いた常微分方程式の保存的数値解法2023

    • 著者名/発表者名
      石井 直樹, 佐藤 峻, 松尾 宇泰
    • 学会等名
      第49回 数値解析シンポジウム
  • [学会発表] 発展方程式に対する乱択化分解解法2023

    • 著者名/発表者名
      麻生 豊大, 佐藤 峻, 松尾 宇泰
    • 学会等名
      第49回 数値解析シンポジウム
  • [学会発表] 連続最適化手法とその連続極限における収束レートの対応について2023

    • 著者名/発表者名
      佐藤 峻, 牛山 寛生, 野沢 諒太, 松尾 宇泰
    • 学会等名
      RIMS共同研究(公開型)「新時代における高性能科学技術計算法の探究」
    • 招待講演
  • [学会発表] A Unified Discretization Framework for Differential Equation Approach with Lyapunov Arguments for Convex Optimization2023

    • 著者名/発表者名
      牛山 寛生, 佐藤 峻, 松尾 宇泰
    • 学会等名
      第26回情報論的学習理論ワークショップ
  • [学会発表] 半正定値計画による多変数 cubature 公式の構成法2023

    • 著者名/発表者名
      小暮 祥弘, 田中 健一郎
    • 学会等名
      第49回 数値解析シンポジウム
  • [学会発表] Structure-preserving numerical methods for gradient flows of planar closed curves2023

    • 著者名/発表者名
      Tomoya Kemmochi, Yuto Miyatake, Koya Sakakibara
    • 学会等名
      International Congress on Industrial and Applied Mathematics
    • 国際学会
  • [学会発表] 平面曲線に関する汎函数最小化問題に深層強化学習を適用するための報酬設計の検討2023

    • 著者名/発表者名
      岩瀨 慈恩, 宮武 勇登, 降籏 大介
    • 学会等名
      第49回 数値解析シンポジウム
  • [学会発表] Particle-cluster dynamics model for coarsening process of phase separation phenomenon modeled by the Cahn-Hilliard Equation2023

    • 著者名/発表者名
      Daisuke Furihata
    • 学会等名
      International Congress on Industrial and Applied Mathematics
    • 国際学会
  • [学会発表] 相分離問題の粗視化のための particle dynamics model2023

    • 著者名/発表者名
      降籏 大介
    • 学会等名
      第28回 計算工学講演会
  • [学会発表] Nonlinear difference operator for approximating derivatives2023

    • 著者名/発表者名
      Daisuke Furihata
    • 学会等名
      2023 Workshop on Numerical Analysis and Image Science
    • 国際学会
  • [図書] 変数変換型数値計算法2023

    • 著者名/発表者名
      田中 健一郎, 岡山 友昭
    • 総ページ数
      294
    • 出版者
      岩波書店
    • ISBN
      9784000298605

URL: 

公開日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi