• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Chaotic dynamics in deep neural networks and its applications to information processing

Research Project

Project/Area Number 20K11985
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61040:Soft computing-related
Research InstitutionFukuoka Institute of Technology

Principal Investigator

Yamaguti Yutaka  福岡工業大学, 情報工学部, 助教 (80507236)

Co-Investigator(Kenkyū-buntansha) 奈良 重俊  岡山大学, 自然科学研究科, 特命教授 (60231495)
津田 一郎  中部大学, 創発学術院, 教授 (10207384)
Project Period (FY) 2020-04-01 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2022: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2021: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2020: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Keywords深層学習 / カオス / 連想記憶 / 敵対生成ネットワーク / 畳み込みネットワーク / 敵対生成モデル / cycleGAN / リアプノフ指数 / アトラクタ / CycleGAN / 人工知能 / ニューラルネットワーク / 非線形力学系 / 神経微分方程式 / 脳型情報処理
Outline of Research at the Start

本研究では深層ニューラルネットにおいてカオス的ダイナミクスが生成する機構を解明し,カオス的性質を利用した深層学習手法を提案・発展させる.具体的には神経微分方程式(Neural Ordinary Differential Equation, Neural ODE)におけるカオス時系列の学習・制御,及び深層ニューラルネットにおけるカオス的な記憶想起ダイナミクスの生成を研究する.これらの研究によりカオス力学系の性質を利用した新たな深層脳型学習手法を確立し,応用技術への展開を目指す.

Outline of Final Research Achievements

The purpose of this study is to analyze the chaotic dynamics that can appear in various deep learning models, to consider its application to information processing, and to realize artificial intelligence that uses chaotic dynamics. In order to realize information processing using chaos in deep learning models, we conducted the following three studies: 1) development of deep associative models and analysis of their dynamical systems, 2) characterization of pseudo-chaotic time series generated by deep generative models, and 3) proposal and mathematical modeling of Lewy body dementia based on a three-layered deep associative memory model.

Academic Significance and Societal Importance of the Research Achievements

本研究の意義を以下の3点にまとめる.(1) 敵対生成ネットワークによる画像変換を力学系として分析し,連続的生成にカオス的ダイナミクスを見出し,多数のアトラクタの存在を明らかにした.これは深層モデルの力学系的構造の研究に寄与する成果である.(2) 深層生成モデルにより生成された擬似的なカオス時系列と,真のカオス時系列との違いを非線形時系列解析手法により分析した.これは生成モデルの限界について非線形力学系からの観点を知見として加えるものである.(3) 多層連想記憶モデルをレビー小体型認知症のメカニズムを考察する際の数理モデルとして利用することができ,認知症研究発展に寄与する可能性がある.

Report

(4 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (25 results)

All 2023 2022 2021 2020

All Journal Article (7 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 7 results,  Open Access: 3 results) Presentation (18 results) (of which Int'l Joint Research: 3 results,  Invited: 1 results)

  • [Journal Article] Review:Nicotinic acetylcholine receptors to regulate important brain activity; what occurs at the molecular level ?2023

    • Author(s)
      Shigetoshi Nara, Yutaka Yamaguti, and Ichiro Tsuda
    • Journal Title

      Cognitive neurodynamics

      Volume: -

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Visual hallucinations in dementia with Lewy bodies originate from necrosis of characteristic neurons and connections in three-module perception model2022

    • Author(s)
      Nara Shigetoshi、Fujii Hiroshi、Tsukada Hiromichi、Tsuda Ichiro
    • Journal Title

      Scientific Reports

      Volume: 12 Issue: 1

    • DOI

      10.1038/s41598-022-18313-6

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] On the Nature of Functional Differentiation: The Role of Self-Organization with Constraints2022

    • Author(s)
      Tsuda Ichiro、Watanabe Hiroshi、Tsukada Hiromichi、Yamaguti Yutaka
    • Journal Title

      Entropy

      Volume: 24 Issue: 2 Pages: 240-240

    • DOI

      10.3390/e24020240

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] 数理科学から見た神経科学、臨床医学2021

    • Author(s)
      津田一郎
    • Journal Title

      Medical Science Digest

      Volume: 47 Pages: 238-241

    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Journal Article] 動的ヘテラルキー構造の神経情報機構に対する分化数理モデル2021

    • Author(s)
      津田一郎
    • Journal Title

      CLINICAL NEUROSCIENCE

      Volume: 39 Pages: 822-826

    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Journal Article] Some elements for a history of the dynamical systems theory2021

    • Author(s)
      Letellier Christophe、Abraham Ralph、Shepelyansky Dima L.、R?ssler Otto E.、Holmes Philip、Lozi Ren?、Glass Leon、Pikovsky Arkady、Olsen Lars F.、Tsuda Ichiro、Grebogi Celso、Parlitz Ulrich、Gilmore Robert、Pecora Louis M.、Carroll Thomas L.
    • Journal Title

      Chaos: An Interdisciplinary Journal of Nonlinear Science

      Volume: 31 Issue: 5 Pages: 053110-053110

    • DOI

      10.1063/5.0047851

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Time Delayed Effect Can Bring Novel Hierarchical Complex Dynamics to Neural Network?2021

    • Author(s)
      Shigetoshi Nara
    • Journal Title

      Advances in Cognitive Neurodynamics

      Volume: (VII) Pages: 95-97

    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Presentation] 敵対的生成ネットワークにより生成される疑似カオス時系列にみられる誤差の分析2023

    • Author(s)
      山口 裕, 田中 悠貴
    • Organizer
      日本応用数理学会第19回研究部会連合発表会
    • Related Report
      2022 Annual Research Report
  • [Presentation] Self-organization of a dynamical orthogonal basis acquiring large memory capacity in modular reservoir computing2022

    • Author(s)
      Y. Kawai, J.Park, I. Tsuda, and M. Asada
    • Organizer
      ICANN 2022
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 脳の数学原理を求めて:カオスにもとづく複雑系脳科学の展開2022

    • Author(s)
      津田一郎
    • Organizer
      21世紀応用数学の現在と未来―西浦廉政先生古希記念研究会
    • Related Report
      2022 Annual Research Report
    • Invited
  • [Presentation] カオス力学を基軸にした複雑系脳科学への先駆的な貢献 -- 脳科学の数学原理2022

    • Author(s)
      津田一郎
    • Organizer
      藤原洋数理科学賞大賞授賞講演
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Nicotinic acetylcholine receptors to regulate important brain activities: what occurs in molecular level ?2022

    • Author(s)
      Shigetohi Nara
    • Organizer
      The 8th International Congress on Cognitive Neurodynamics
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] CycleGANを利用した循環的変換による連続的画像生成2022

    • Author(s)
      田中 天也, 山口 裕
    • Organizer
      第21回情報科学技術フォーラム (FIT2022)
    • Related Report
      2022 Annual Research Report
  • [Presentation] GANを用いて生成した擬似カオス時系列に対する非線形時系列解析2022

    • Author(s)
      田中 悠貴, 山口 裕
    • Organizer
      日本応用数理学会2022年度年会
    • Related Report
      2022 Annual Research Report
  • [Presentation] CycleGANにより構成される力学系のアトラクタ分布にみられるべき則2022

    • Author(s)
      遠原 由規, 山口 裕
    • Organizer
      日本応用数理学会2022年度年会
    • Related Report
      2022 Annual Research Report
  • [Presentation] GANを用いた分岐パラメータに依存したカオス時系列の生成2022

    • Author(s)
      高橋 直樹, 山口 裕
    • Organizer
      日本応用数理学会2022年度年会
    • Related Report
      2022 Annual Research Report
  • [Presentation] CycleGANの反復変換により生成される力学系軌道のカオス性2022

    • Author(s)
      遠原 由規, 山口 裕
    • Organizer
      日本応用数理学会第18回研究部会連合発表会
    • Related Report
      2021 Research-status Report
  • [Presentation] GANを用いて生成した擬似カオス時系列の統計的性質2022

    • Author(s)
      田中 悠貴, 山口 明宏, 山口 裕
    • Organizer
      日本応用数理学会第18回研究部会連合発表会
    • Related Report
      2021 Research-status Report
  • [Presentation] GANを用いたカオス時系列生成2021

    • Author(s)
      田中 悠貴, 山口 裕
    • Organizer
      日本応用数理学会2021年度年会
    • Related Report
      2021 Research-status Report
  • [Presentation] CycleGANを用いた繰り返し画像変換に現れるアトラクタダイナミクスの分析2021

    • Author(s)
      遠原 由規, 山口 裕
    • Organizer
      日本応用数理学会2021年度年会
    • Related Report
      2021 Research-status Report
  • [Presentation] リザバーコンピューティングにおける教師の動的な選択2021

    • Author(s)
      海老原端馬、津田一郎、山口裕
    • Organizer
      日本応用数理学会2021年度年会
    • Related Report
      2021 Research-status Report
  • [Presentation] 拘束条件付き自己組織化理論に基づく機能分化に関する数理的・情報論的基盤2021

    • Author(s)
      津田一郎
    • Organizer
      第62回日本神経学会学術大会
    • Related Report
      2021 Research-status Report
  • [Presentation] Hessian-Free 法を用いた Echo State Network の構造探索2021

    • Author(s)
      濱地優輝, 平川翼, 山下隆義, 藤吉弘亘, 山口 裕, 津田一郎
    • Organizer
      情報処理学会第20回情報科学技術フォーラム
    • Related Report
      2021 Research-status Report
  • [Presentation] 相互情報量最小化による機能分化の誘導2021

    • Author(s)
      山口裕, 津田一郎
    • Organizer
      生理研研究会 第3回力学系の始点からの脳・神経回路の理解
    • Related Report
      2021 Research-status Report
  • [Presentation] Neural ODEによる画像認識過程の可視化2020

    • Author(s)
      角田 千哉, 山口 裕
    • Organizer
      応用数理学会2020年度年会
    • Related Report
      2020 Research-status Report

URL: 

Published: 2020-04-28   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi