• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

対称性を考慮したニューラルネットワークによる有効模型構築

研究課題

研究課題/領域番号 22K03539
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分13030:磁性、超伝導および強相関系関連
研究機関東京大学 (2023)
国立研究開発法人日本原子力研究開発機構 (2022)

研究代表者

永井 佑紀  東京大学, 情報基盤センター, 准教授 (20587026)

研究分担者 富谷 昭夫  東京女子大学, 現代教養学部, 講師 (50837185)
研究期間 (年度) 2022-04-01 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2024年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2023年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
2022年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
キーワード機械学習 / 自己学習モンテカルロ法 / Transformer / ニューラルネットワーク / 対称性 / 強相関電子系
研究開始時の研究の概要

ある理論的な模型は低エネルギー領域において別の有効模型で書ける場合がある。従来このような有効模型は人間が手で導出していた。本研究では、ニューラルネットワークを用いて有効模型の自動構築を試みる。さらに、系が持つ対称性を自動的に保つようなニューラルネットワークを用いることで、高精度な有効模型を構築する手法を確立する。これらにより、物性分野のシミュレーションを飛躍的に高速化することを目的とする。

研究実績の概要

近年、生成AIと呼ばれる大規模言語モデルが大きく性能を伸ばし、さまざまな分野へと波及している。この大規模言語モデルの基本ネットワークアーキテクチャはTransformerであり、そのビルディングブロックはAttention層である。言語モデルにおいて非常に高い性能を上げているこれらのアーキテクチャは、物理系のモデルにおいても同様に高い性能が得られる可能性がある。一方で、大規模言語モデルは数十億以上のパラメータを持ち、訓練のためには大規模な計算機資源が必要であり、かつ、推論でも高性能な計算資源が必要であるため、物理系のシミュレーションを高速化するためにはそのままでは困難があると想定された。そこで、本科研費のテーマである「対称性」をネットワーク構造に持たせることで、Transformerネットワークのパラメータ数を劇的に減らすことを試みた。スピン系においてこの方法はうまくいっており、現在論文を投稿中である。

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

Transformerアーキテクチャに物理系の対称性を取り込む方法を発見し、最新の機械学習手法である大規模言語モデルと同等のネットワークアーキテクチャの構成に成功したため。

今後の研究の推進方策

系の物理的対称性を保ったTransformerとAttention機構を組み込んだニューラルネットワークが出来上がったので、この方法がさまざまな物理系で使えるかどうかを調べ、大規模言語モデルのような高い性能を持つかどうかを調べる。

報告書

(2件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 研究成果

    (18件)

すべて 2024 2023 2022

すべて 雑誌論文 (6件) (うち査読あり 6件、 オープンアクセス 3件) 学会発表 (12件) (うち国際学会 3件、 招待講演 5件)

  • [雑誌論文] High-temperature atomic diffusion and specific heat in quasicrystals2024

    • 著者名/発表者名
      Yuki Nagai, Yutaka Iwasaki, Koichi Kitahara, Yoshiki Takagiwa, Kaoru Kimura, and Motoyuki Shiga
    • 雑誌名

      Physical Review Letters

      巻: 132 号: 19

    • DOI

      10.1103/physrevlett.132.196301

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] Equivariant transformer is all you need2023

    • 著者名/発表者名
      Akio Tomiya, Yuki Nagai
    • 雑誌名

      PoS LATTICE2023

      巻: - ページ: 001-001

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] Sparse modeling approach to extract spectral functions with covariance of Euclidean-time correlators of lattice QCD2023

    • 著者名/発表者名
      Junichi Takahashi, Hiroshi Ohno, Akio Tomiya
    • 雑誌名

      PoS LATTICE2023

      巻: - ページ: 028-028

    • 関連する報告書
      2023 実施状況報告書
    • 査読あり
  • [雑誌論文] Self-learning Monte Carlo for non-Abelian gauge theory with dynamical fermions2023

    • 著者名/発表者名
      Nagai Yuki、Tanaka Akinori、Tomiya Akio
    • 雑誌名

      Physical Review D

      巻: 107 号: 5 ページ: 1-16

    • DOI

      10.1103/physrevd.107.054501

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Sparse Modeling Approach for Quasiclassical Theory of Superconductivity2023

    • 著者名/発表者名
      Nagai Yuki、Shinaoka Hiroshi
    • 雑誌名

      Journal of the Physical Society of Japan

      巻: 92 号: 3 ページ: 1-8

    • DOI

      10.7566/jpsj.92.034703

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] T-mu phase diagram using classical-quantum hybrid algorithm2023

    • 著者名/発表者名
      Tomiya Akio
    • 雑誌名

      Proceedings of Science

      巻: 430 ページ: 1-9

    • DOI

      10.22323/1.430.0039

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / オープンアクセス
  • [学会発表] Application of Julia in Particle Physics -Toward Large-Scale Computations of Lattice QCD-2023

    • 著者名/発表者名
      Akio Tomiya
    • 学会等名
      20 June 2023, Julia in mathematics and physics
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Self-learning Monte Carlo2023

    • 著者名/発表者名
      Akio Tomiya
    • 学会等名
      Kick-off Meeting for the Accelerated Program in Fugaku
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Development of machine learning methods for simulation of quantum theory of lattice fields2023

    • 著者名/発表者名
      Akio Tomiya
    • 学会等名
      HPCI Computational Science Forum
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Advances in Lattice QCD with Machine Learning2023

    • 著者名/発表者名
      Akio Tomiya
    • 学会等名
      JPS Meeting (Symposium)
    • 関連する報告書
      2023 実施状況報告書
    • 招待講演
  • [学会発表] Flow based sampling for 3- and 4-dim. model2023

    • 著者名/発表者名
      Akio Tomiya
    • 学会等名
      The Future is non-perturbative
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Machine learning and Lattice QCD2023

    • 著者名/発表者名
      Akio Tomiya
    • 学会等名
      Challenges and opportunities in Lattice QCD simulations and related fields
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] Atomic diffusion due to hyperatomic fluctuation for quasicrystals and their approximants2023

    • 著者名/発表者名
      Yuki Nagai
    • 学会等名
      International conference on complex orders in condensed matter: aperiodic order, local order, electronic order, hidden order
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Juliaによる科学技術計算:大規模並列計算について2023

    • 著者名/発表者名
      永井佑紀
    • 学会等名
      数学と物理におけるJuliaの活用
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Simulation and training by the self-learning hybrid Monte Calro method2023

    • 著者名/発表者名
      永井 佑紀
    • 学会等名
      DxMT Workshop; Leading edge of Machine Learning Potential
    • 関連する報告書
      2022 実施状況報告書
    • 招待講演
  • [学会発表] スパースモデリングを用いた超伝導準古典理論; 自己無撞着方程式の高速解法2022

    • 著者名/発表者名
      永井 佑紀、品岡 寛
    • 学会等名
      日本物理学会 2022 年秋季大会 (物性)
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 機械学習による材料物性シミュレーションの高速化2022

    • 著者名/発表者名
      永井 佑紀
    • 学会等名
      アドバンス・シミュレーション・セミナー 2022(第 3 回)
    • 関連する報告書
      2022 実施状況報告書
    • 招待講演
  • [学会発表] 超伝導準結晶における自発的磁束ピン留め2022

    • 著者名/発表者名
      永井 佑紀
    • 学会等名
      第 28 回渦糸物理ワークショップ
    • 関連する報告書
      2022 実施状況報告書

URL: 

公開日: 2022-04-19   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi