Geometric deep learning derived by causality.

• Project Area: Establishing data descriptive science and its cross-disciplinary applications
• Project/Area Number: 23H04484
• Research Category: Grant-in-Aid for Transformative Research Areas (A)
• Allocation Type: Single-year Grants
• Review Section: Transformative Research Areas, Section (II)
• Research Institution: Kyoto University
• Principal Investigator: 三内 顕義 京都大学, 理学研究科, 特定准教授 (10610595)
• Project Period (FY): 2023-04-01 – 2025-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2024: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000); Fiscal Year 2023: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
• Keywords: 深層学習 / 群論 / メタ学習 / 対称性 / 構造的因果推論 / 因果グラフ

Outline of Research at the Start

メタ学習は現代機械学習において重要な手法の一つだが、全てのタスクに対し、有用なわけではない。現在は人間の手で行われているメタ学習のフレームワークが適応可能な枠組みを数理的に明確化し、理論整備することを目標としている。

Outline of Annual Research Achievements

今年度は構造的因果方程式が導く潜在空間への写像に着目しこの写像を通じて、データ空間上では構造的因果として実現していた性質が、
潜在空間上で幾何学的性質として再実現されることが証明した。さらに導かれた幾何学的性質を幾何学的深層学習モデルと組み合わせることで
、最終的に同一の因果構造方程式を持つ確率モデル群に対して適応可能な、因果メタ学習モデルを得た。また因果グラフを組み込んだメタ学習の前段階としてのグラフを入力とするニューラルネットを構成し、論文を出版した。
またそのほかにLLMと因果推論を組み合わせた手法を提案し、プレプリントを公開した。

Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

当初計画していたメタ学習の方向性のみならず、LLMを用いて因果推論を強化するという結果も得られたため

Strategy for Future Research Activity

LLMで強化した因果推論手法からLLMと因果グラフのつながりが得られている。今後はこの方向を発展し、LLM自体の強化につながるような研究を模索する

Research Products

• [Journal Article] Invariant and Equivariant Reynolds Networks (2024)
  • Author(s): Akiyoshi Sannai, Makoto Kawano, Wataru Kumagai
  • Journal Title: journal of machine learning research Volume: 25 Pages: 1-36