• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

ニューラルネットワークに対する幾何学的力学系理論

研究課題

研究課題/領域番号 19K03635
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分12040:応用数学および統計数学関連
研究機関中部大学 (2021-2022)
統計数理研究所 (2019-2020)

研究代表者

後藤 振一郎  中部大学, AI数理データサイエンスセンター, 准教授 (60749282)

研究期間 (年度) 2019-04-01 – 2023-03-31
研究課題ステータス 完了 (2022年度)
配分額 *注記
4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2021年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
2020年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2019年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
キーワード幾何学的力学系理論 / ニューラルネット / 微分幾何学 / 力学系理論 / 統計力学 / 最適化問題 / 接触幾何学 / シンプレクティック幾何学 / ニューラルネットワーク / マスター方程式 / 凸最適化理論 / 情報幾何学 / 離散幾何学 / ヘッセ幾何学
研究開始時の研究の概要

人間の脳内の神経回路モデルはもとより、近年実社会でも特に需要が高まっている機械学習分野でも用いられているニューラルネットワークの単純化したモデル群を本研究で主に扱う。機械学習の中でも特に、ある種のニューラルネットワークモデルがなぜ効率的に学習できるかを解明するための一助となる理論を微分幾何学を用いて構築する。具体的には、ニューラルネットワークモデルでの活性化関数と呼ばれる非線形関数が凸関数と結びつく場合に対し、ヘッセ幾何学、情報幾何学や接触幾何学と呼ばれる微分幾何学を用いたモデル群の記述と、曲率やラプラシアン等の幾何学量が如何に学習理論や力学系と結びつくかを検討する。

研究成果の概要

ニューラルネットワーク周辺領域で用いられる(熱)力学系を幾何学を積極的に用いた記述とその応用に関する研究をおこなった。当初は、よりニューラルネットワークに則した力学系に注力する予定であったが、より数理として基本的なイジング模型周辺の力学系を主に扱った。また熱力学モデルも予定を変更して取り扱った。本研究により種々の(熱)力学系の接触幾何学、情報幾何学、離散幾何学、アファイン幾何学的記述法を示した。さらにその記述法の特徴や応用も示した。

研究成果の学術的意義や社会的意義

力学系理論や熱統計力学は理工学の様々な分野で応用され、汎用性の高い方法論を提供してきた。特にニューラルネットワークなどの脳を模したモデルの解析は、人工知能分野の近年の発展にも寄与した。更なる関連基礎数理の発達が期待されている。また一方、シンプレクティック幾何学などの幾何学分野は、力学系理論の発展と共に発展してきた。本研究では力学系理論や熱統計力学と、これまであまり結びつきが強くなかった接触幾何学、情報幾何学、離散幾何学、アファイン幾何学を結びつけ、ニューラルネットワークより更に基本となるモデル群に対して(熱)力学系の緩和時間の幾何学的記述やその限界を具体的に示した。

報告書

(5件)
  • 2022 実績報告書   研究成果報告書 ( PDF )
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 2019 実施状況報告書
  • 研究成果

    (26件)

すべて 2023 2022 2021 2020 2019 その他

すべて 国際共同研究 (1件) 雑誌論文 (7件) (うち国際共著 1件、 査読あり 7件、 オープンアクセス 3件) 学会発表 (18件) (うち国際学会 4件、 招待講演 13件)

  • [国際共同研究] テルアビブ大学(イスラエル)

    • 関連する報告書
      2022 実績報告書
  • [雑誌論文] Affine geometric description of thermodynamics2023

    • 著者名/発表者名
      Goto Shin-itiro
    • 雑誌名

      Journal of Mathematical Physics

      巻: 64 号: 1 ページ: 013301-013301

    • DOI

      10.1063/5.0124768

    • 関連する報告書
      2022 実績報告書
    • 査読あり
  • [雑誌論文] Contact geometric approach to Glauber dynamics near a cusp and its limitation2023

    • 著者名/発表者名
      Goto Shin-itiro、Lerer Shai、Polterovich Leonid
    • 雑誌名

      Journal of Physics A: Mathematical and Theoretical

      巻: 56 号: 12 ページ: 125001-125001

    • DOI

      10.1088/1751-8121/acbe81

    • 関連する報告書
      2022 実績報告書
    • 査読あり / 国際共著
  • [雑誌論文] Nonequilibrium thermodynamic process with hysteresis and metastable states-A contact Hamiltonian with unstable and stable segments of a Legendre submanifold2022

    • 著者名/発表者名
      Goto Shin-itiro
    • 雑誌名

      Journal of Mathematical Physics

      巻: 63 号: 5 ページ: 053302-053302

    • DOI

      10.1063/5.0062495

    • 関連する報告書
      2022 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Contact Hamiltonian Systems for Probability Distribution Functions and Expectation Variables: A Study Based on a Class of Master Equations2021

    • 著者名/発表者名
      Goto Shin-itiro、Hino Hideitsu
    • 雑誌名

      Progress in Information Geometry

      巻: - ページ: 57-87

    • DOI

      10.1007/978-3-030-65459-7_4

    • ISBN
      9783030654580, 9783030654597
    • 関連する報告書
      2020 実施状況報告書
    • 査読あり
  • [雑誌論文] Diffusion equations from master equations:A discrete geometric approach2020

    • 著者名/発表者名
      Goto Shin-itiro、Hino Hideitsu
    • 雑誌名

      Journal of Mathematical Physics

      巻: 61 号: 11 ページ: 113301-113301

    • DOI

      10.1063/5.0003656

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Information and contact geometric description of expectation variables exactly derived from master equations2019

    • 著者名/発表者名
      Shin-itiro Goto and Hideitsu Hino
    • 雑誌名

      Physica Scripta

      巻: 95 号: 1 ページ: 015207-015207

    • DOI

      10.1088/1402-4896/ab4295

    • 関連する報告書
      2019 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Expectation Variables on a Para-Contact Metric Manifold Exactly Derived from Master Equations2019

    • 著者名/発表者名
      Shin-itiro Goto and Hideitsu Hino
    • 雑誌名

      GSI 2019, Lecture Notes in Computer Science

      巻: 11712 ページ: 239-247

    • DOI

      10.1007/978-3-030-26980-7_25

    • ISBN
      9783030269791, 9783030269807
    • 関連する報告書
      2019 実施状況報告書
    • 査読あり
  • [学会発表] Contact geometric approaches to thermodynamic processes with metastable equilibrium states2023

    • 著者名/発表者名
      S. Goto
    • 学会等名
      Forschungszentrum Julich GmbH, Peter Grunberg Institute (PGI), Ansari's Research Group Seminar
    • 関連する報告書
      2022 実績報告書
    • 招待講演
  • [学会発表] ヒステリシス系の接触幾何学的記述:非平衡熱力学の幾何学化に向けて2022

    • 著者名/発表者名
      後藤振一郎
    • 学会等名
      量子と古典の物理と幾何
    • 関連する報告書
      2022 実績報告書
    • 招待講演
  • [学会発表] ルジャンドル部分多様体を固定点集合とする接触ハミルトン力学系: 熱力学相転移・ヒステリシス系への応用2022

    • 著者名/発表者名
      後藤振一郎
    • 学会等名
      2021年度冬の力学系研究集会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] Symplectic integrator via contact geometry for Nesterov-type ODE2022

    • 著者名/発表者名
      日野英逸、後藤振一郎
    • 学会等名
      Workshop on Functional Inference and Machine Intelligence
    • 関連する報告書
      2021 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] 非自励ハミルトン系を用いた制約なし凸最適化問題の構造保存数値解法2021

    • 著者名/発表者名
      後藤振一郎、日野英逸
    • 学会等名
      統計物理と統計科学のセミナー
    • 関連する報告書
      2020 実施状況報告書
    • 招待講演
  • [学会発表] 接触多様体のシンプレクティック化を用いた制約なし凸最適化問題の構造保存数値解法2020

    • 著者名/発表者名
      後藤振一郎、日野英逸
    • 学会等名
      Poisson幾何とその周辺2020
    • 関連する報告書
      2020 実施状況報告書
    • 招待講演
  • [学会発表] マスター方程式と離散拡散方程式の関係 --離散幾何学による解析--2020

    • 著者名/発表者名
      後藤振一郎
    • 学会等名
      統計数理研究所オープンハウス ( オンライン開催 )
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] マスター方程式の離散幾何学 --拡散方程式の厳密な導出--2020

    • 著者名/発表者名
      後藤振一郎、日野英逸
    • 学会等名
      RIMS共同研究「数理科学の諸問題と力学系理論の新展開」
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] Information and contact geometries for expectation variables exactly derived from a class of master equations2020

    • 著者名/発表者名
      S. Goto and H. Hino
    • 学会等名
      Workshop on Emerging Themes in Computational Statistics
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] 応用接触幾何学2020

    • 著者名/発表者名
      後藤 振一郎
    • 学会等名
      福岡大学応用数学科セミナー
    • 関連する報告書
      2019 実施状況報告書
    • 招待講演
  • [学会発表] マスター方程式の離散幾何学--拡散方程式の厳密な導出--2019

    • 著者名/発表者名
      後藤 振一郎 日野 英逸
    • 学会等名
      第25回交通流と自己駆動粒子系のシンポジウム
    • 関連する報告書
      2019 実施状況報告書
    • 招待講演
  • [学会発表] マスター方程式の離散幾何学--拡散方程式の厳密な導出--2019

    • 著者名/発表者名
      後藤 振一郎 日野 英逸
    • 学会等名
      第25回非線形局在モード勉強会
    • 関連する報告書
      2019 実施状況報告書
    • 招待講演
  • [学会発表] マスター方程式から厳密に得られる期待値変数の情報幾何学, 接触幾何学およびその周辺2019

    • 著者名/発表者名
      後藤 振一郎 日野 英逸
    • 学会等名
      科研費シンポジウム「統計学と機械学習の数理と展開」
    • 関連する報告書
      2019 実施状況報告書
    • 招待講演
  • [学会発表] Expectation variables on a para-contact metric manifold exactly derived from master equations2019

    • 著者名/発表者名
      Shin-itiro Goto and Hideitsu Hino
    • 学会等名
      Geometric Science of Information, 4th Edition
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Hessian-information geometric formulation of neural network models having a Lyapunov function2019

    • 著者名/発表者名
      Shin-itiro Goto
    • 学会等名
      RIMS研究集会「力学系 -新たな理論と応用に向けて-」
    • 関連する報告書
      2019 実施状況報告書
  • [学会発表] Hessian-information geometric formulation of Hamiltonian systems and generalized Toda’s dual transform2019

    • 著者名/発表者名
      Shin-itiro Goto and Tatsuaki Wada
    • 学会等名
      Geometry, Mechanics, and their Applications,「幾何学と力学とその応用」
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] マスター方程式と拡散方程式の関係--離散幾何学によるアプローチ--2019

    • 著者名/発表者名
      後藤 振一郎
    • 学会等名
      中部大学 工学基礎教室 セミナー
    • 関連する報告書
      2019 実施状況報告書
    • 招待講演
  • [学会発表] Contact geometric approaches to nonlinear RLC circuit models in contact with heat bath2019

    • 著者名/発表者名
      Shin-itiro Goto
    • 学会等名
      Seminar at Laboratory of Automatic Control, Chemical and Pharmaceutical Engineering, Lyon 1, France
    • 関連する報告書
      2019 実施状況報告書
    • 招待講演

URL: 

公開日: 2019-04-18   更新日: 2024-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi