• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Neural networks on curved statistical manifolds

Research Project

Project/Area Number 24K21518
Research Category

Grant-in-Aid for Challenging Research (Exploratory)

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 12:Analysis, applied mathematics, and related fields
Research InstitutionKyoto University

Principal Investigator

島崎 秀昭  京都大学, 情報学研究科, 准教授 (50587409)

Co-Investigator(Kenkyū-buntansha) モラレス パブロ  株式会社アラヤ(研究開発部), 研究開発部, チーフリサーチャー (60903804)
Project Period (FY) 2024-06-28 – 2027-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥6,240,000 (Direct Cost: ¥4,800,000、Indirect Cost: ¥1,440,000)
Fiscal Year 2026: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
Fiscal Year 2025: ¥2,470,000 (Direct Cost: ¥1,900,000、Indirect Cost: ¥570,000)
Fiscal Year 2024: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
KeywordsRenyiエントロピー / 変形指数分布族 / ニューラルネットワーク / 爆発的転移 / 記憶容量 / 高次相関 / 情報幾何
Outline of Research at the Start

物質・生命・社会に見出される複雑なネットワークの集合ダイナミクスは,個々の部分とその対の関係で説明される範囲を超え,高次の相互作用によって支配される創発的な振る舞いを示すことがある.しかし,複雑ネットワークにおける高次相互作用を簡潔にモデリングするフレームワークがないため,これらが集合ダイナミクスに果たす役割や機能はまだ明らかになっていない.本研究は,Renyiダイバージェンスに基づく曲がった統計多様体上のニューラルネットワークを題材として,高次相互作用を伴う複雑ネットワークを記述・解析するための数理モデリング技術を開発し,現在の複雑ネットワークのモデリング体系を大きく変革することを目指す.

Outline of Annual Research Achievements

物質・生命・社会に見出される複雑なネットワークの集合ダイナミクスは,個々の要素やその対の関係だけでは捉えきれず,高次の相互作用によって支配される創発的な振る舞いを示す.しかしながら,このような高次相互作用を簡潔にモデリングできる枠組みはいまだ確立されておらず,そのことが複雑ネットワークに特有の機能的特性の理解を妨げている.結果として,学習や計算における高次相互作用の役割も未解明のままである.本研究は,ニューラルネットワークを題材に高次相関を伴うネットワークが有する機能を明らかにするとともに,神経細胞の集団活動を記述する新たなモデルを構築し,ニューラルネットワークのモデリング体系に変革をもたらす数理基盤の確立を目指す.
初年度にあたる本年度はまず, 神経細胞の集団活動における高次相関を記述・解析する新たな数理モデリング手法の構築を目的とし,Renyiエントロピー最大化に基づく曲がった空間上でのニューラルネットワークモデルを定式化し,変形指数分布族を導入することで高次相互作用を自然に取り込んだモデル構築が可能であることを示した.さらに本モデルにおいては,従来知られていた連続的相転移とは異なる,「爆発的転移(explosive transitions)」と呼ばれる新たな非連続的相転移が生じることを発見した.加えて,このモデルの記憶想起ダイナミクスには,想起が加速度的に速くなるポジティブフィードバック機構が内在しており,これが爆発的相転移の背景にあることを明らかにした.加えてレプリカ解析により,変形指数分布族に基づくニューラルネットワークモデルが,従来のモデルと比較して,より多様かつ安定な記憶状態を実現し得ることを確認し,記憶容量の増加と安定性が理論的に示された.これらの成果により,神経回路における記憶想起・記憶保持能力において,高次相関が果たす役割の一端が明らかとなった.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

Renyiエントロピー最大化に基づくニューラルネットワークを提案した論文をarXivにて発表し,学術誌に投稿した.

Strategy for Future Research Activity

Renyiエントロピー最大化に基づくニューラルネットワークの平均場近似法による推定手法の開発に取り組む.

Report

(1 results)
  • 2024 Research-status Report
  • Research Products

    (2 results)

All Other

All Int'l Joint Research (2 results)

  • [Int'l Joint Research] Basque Center for Applied Mathematics/IKERBASQUE(スペイン)

    • Related Report
      2024 Research-status Report
  • [Int'l Joint Research] University of Sussex/Imperial College London/University of Oxford(英国)

    • Related Report
      2024 Research-status Report

URL: 

Published: 2024-07-03   Modified: 2025-12-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi