• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2021 年度 実施状況報告書

深層ニューラルネットワークにおけるカオス的ダイナミクスの解析と情報処理への応用

研究課題

研究課題/領域番号 20K11985
研究機関福岡工業大学

研究代表者

山口 裕  福岡工業大学, 情報工学部, 助教 (80507236)

研究分担者 奈良 重俊  岡山大学, 自然科学研究科, 特命教授 (60231495)
津田 一郎  中部大学, 創発学術院, 教授 (10207384)
研究期間 (年度) 2020-04-01 – 2023-03-31
キーワード深層学習 / カオス / 敵対生成ネットワーク / リアプノフ指数 / アトラクタ / CycleGAN
研究実績の概要

本研究は種々の深層学習モデルに現れ得るカオス的ダイナミクスを解析し,情報処理への応用を考察し,よりダイナミクスを利用した動的な処理を用いる人工知能を実現すること目的としている.2021年度は深層学習モデルにおけるカオスを利用した情報処理を実現するため,1)深層連想モデルの開発とその力学系としての観点からの解析, 2)深層モデルにより生成された疑似カオス時系列の特徴付け, 3)リザバーの自己組織化による学習の検討,を行った.
1)の深層連想モデルでは敵対的生成モデルのひとつであるCycleGAN を使い,あるカテゴリの画像から他のカテゴリ画像を変換により連想させ,さらにその画像を元のカテゴリの画像に再度変換させることを学習させた.この変換を繰り返し行う系は力学系とみなすことができるため,アトラクタの性質を中心に,大自由度力学系としての性質を調べた.その結果,このモデルは同じカテゴリーの画像の中で多様な画像を次々と生成できることを確認した.この系には非常に多数のアトラクタが存在すること,その中にはカオス的な性質を持つアトラクタが含まれること,各アトラクタが引き込む初期画像の個数には大きな偏りがみられること等を確認した.
2)の疑似カオス時系列については,敵対生成ネットワーク(GAN)によってカオス的な時系列を生成することを学習させ,学習後のGANが生成する疑似時系列を非線形時系列解析の観点から解析した.学習により,決定論的性質や大域的な分布を近似的に再現する擬似的な時系列を生成できることがわかった.さらに,この擬似的な時系列のリアプノフ指数の推定により初期値鋭敏性を持つとみなせることがわかった.
3)については,リザバーネットワークを情報量の基準により最適化する実験を行い,カオス的時系列を学習することができることを確認した.

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

今年度は研究成果に関連した論文の出版ができており,さらに今年度の成果に基づいて次年度で複数の論文執筆ができる状況になったと考えられるので,おおむね順調に進展していると考えられる.

今後の研究の推進方策

深層連想モデルに関しては,複数のタイプを開発し,性能の違いを比較する.また,シナプス結合を一時的に切断することで,アトラクタ間を巡るカオス的遍歴的な軌道を誘発し,多様な画像を連想的に生成することができないか検討する.結果は論文誌に投稿や国際会議での発表を行う.
疑似時系列生成に関しては,モデルが生成した時系列と真の系列の誤差を分析し,カオス的な時系列生成の改良や,疑似時系列を検出する手法開発への応用を検討する.解析の結果は論文誌への投稿や国際会議での発表を行う.リザバーモデルに関しては,自己組織化させたネットワークを使ってカオス時系列の生成・予測が可能かを検討する.

次年度使用額が生じた理由

新型コロナウイルスの影響が続いているため,研究打ち合わせや学会参加をオンラインにより行った結果,旅費の使用額が予定よりも下がり次年度使用額が生じた.最終年度の研究とりまとめのための研究打ち合わせ旅費や学会・国際会議への旅費を中心に使用する予定である.

  • 研究成果

    (13件)

すべて 2022 2021

すべて 雑誌論文 (5件) (うち国際共著 1件、 査読あり 5件、 オープンアクセス 2件) 学会発表 (8件)

  • [雑誌論文] On the Nature of Functional Differentiation: The Role of Self-Organization with Constraints2022

    • 著者名/発表者名
      Tsuda Ichiro、Watanabe Hiroshi、Tsukada Hiromichi、Yamaguti Yutaka
    • 雑誌名

      Entropy

      巻: 24 ページ: 240~240

    • DOI

      10.3390/e24020240

    • 査読あり / オープンアクセス
  • [雑誌論文] 数理科学から見た神経科学、臨床医学2021

    • 著者名/発表者名
      津田一郎
    • 雑誌名

      Medical Science Digest

      巻: 47 ページ: 238-241

    • 査読あり
  • [雑誌論文] 動的ヘテラルキー構造の神経情報機構に対する分化数理モデル2021

    • 著者名/発表者名
      津田一郎
    • 雑誌名

      CLINICAL NEUROSCIENCE

      巻: 39 ページ: 822~826

    • 査読あり
  • [雑誌論文] Some elements for a history of the dynamical systems theory2021

    • 著者名/発表者名
      Letellier Christophe、Abraham Ralph、Shepelyansky Dima L.、R?ssler Otto E.、Holmes Philip、Lozi Ren?、Glass Leon、Pikovsky Arkady、Olsen Lars F.、Tsuda Ichiro、Grebogi Celso、Parlitz Ulrich、Gilmore Robert、Pecora Louis M.、Carroll Thomas L.
    • 雑誌名

      Chaos: An Interdisciplinary Journal of Nonlinear Science

      巻: 31 ページ: 053110~053110

    • DOI

      10.1063/5.0047851

    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Time Delayed Effect Can Bring Novel Hierarchical Complex Dynamics to Neural Network?2021

    • 著者名/発表者名
      Shigetoshi Nara
    • 雑誌名

      Advances in Cognitive Neurodynamics

      巻: (VII) ページ: 95-97

    • DOI

      10.1007/978-981-16-0317-4

    • 査読あり
  • [学会発表] CycleGANの反復変換により生成される力学系軌道のカオス性2022

    • 著者名/発表者名
      遠原 由規, 山口 裕
    • 学会等名
      日本応用数理学会第18回研究部会連合発表会
  • [学会発表] GANを用いて生成した擬似カオス時系列の統計的性質2022

    • 著者名/発表者名
      田中 悠貴, 山口 明宏, 山口 裕
    • 学会等名
      日本応用数理学会第18回研究部会連合発表会
  • [学会発表] GANを用いたカオス時系列生成2021

    • 著者名/発表者名
      田中 悠貴, 山口 裕
    • 学会等名
      日本応用数理学会2021年度年会
  • [学会発表] CycleGANを用いた繰り返し画像変換に現れるアトラクタダイナミクスの分析2021

    • 著者名/発表者名
      遠原 由規, 山口 裕
    • 学会等名
      日本応用数理学会2021年度年会
  • [学会発表] リザバーコンピューティングにおける教師の動的な選択2021

    • 著者名/発表者名
      海老原端馬、津田一郎、山口裕
    • 学会等名
      日本応用数理学会2021年度年会
  • [学会発表] 拘束条件付き自己組織化理論に基づく機能分化に関する数理的・情報論的基盤2021

    • 著者名/発表者名
      津田一郎
    • 学会等名
      第62回日本神経学会学術大会
  • [学会発表] Hessian-Free 法を用いた Echo State Network の構造探索2021

    • 著者名/発表者名
      濱地優輝, 平川翼, 山下隆義, 藤吉弘亘, 山口 裕, 津田一郎
    • 学会等名
      情報処理学会第20回情報科学技術フォーラム
  • [学会発表] 相互情報量最小化による機能分化の誘導2021

    • 著者名/発表者名
      山口裕, 津田一郎
    • 学会等名
      生理研研究会 第3回力学系の始点からの脳・神経回路の理解

URL: 

公開日: 2022-12-28  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi