| Project/Area Number |
22K03539
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 13030:Magnetism, superconductivity and strongly correlated systems-related
|
|---|
| Research Institution | The University of Tokyo (2023)
Japan Atomic Energy Agency (2022) |
|---|
Principal Investigator |
永井 佑紀 東京大学, 情報基盤センター, 准教授 (20587026)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
富谷 昭夫 東京女子大学, 現代教養学部, 講師 (50837185)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2023: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | 機械学習 / 自己学習モンテカルロ法 / Transformer / ニューラルネットワーク / 対称性 / 強相関電子系 |
|---|
| Outline of Research at the Start |
ある理論的な模型は低エネルギー領域において別の有効模型で書ける場合がある。従来このような有効模型は人間が手で導出していた。本研究では、ニューラルネットワークを用いて有効模型の自動構築を試みる。さらに、系が持つ対称性を自動的に保つようなニューラルネットワークを用いることで、高精度な有効模型を構築する手法を確立する。これらにより、物性分野のシミュレーションを飛躍的に高速化することを目的とする。
|
| Outline of Annual Research Achievements |
近年、生成AIと呼ばれる大規模言語モデルが大きく性能を伸ばし、さまざまな分野へと波及している。この大規模言語モデルの基本ネットワークアーキテクチャはTransformerであり、そのビルディングブロックはAttention層である。言語モデルにおいて非常に高い性能を上げているこれらのアーキテクチャは、物理系のモデルにおいても同様に高い性能が得られる可能性がある。一方で、大規模言語モデルは数十億以上のパラメータを持ち、訓練のためには大規模な計算機資源が必要であり、かつ、推論でも高性能な計算資源が必要であるため、物理系のシミュレーションを高速化するためにはそのままでは困難があると想定された。そこで、本科研費のテーマである「対称性」をネットワーク構造に持たせることで、Transformerネットワークのパラメータ数を劇的に減らすことを試みた。スピン系においてこの方法はうまくいっており、現在論文を投稿中である。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
Transformerアーキテクチャに物理系の対称性を取り込む方法を発見し、最新の機械学習手法である大規模言語モデルと同等のネットワークアーキテクチャの構成に成功したため。
|
| Strategy for Future Research Activity |
系の物理的対称性を保ったTransformerとAttention機構を組み込んだニューラルネットワークが出来上がったので、この方法がさまざまな物理系で使えるかどうかを調べ、大規模言語モデルのような高い性能を持つかどうかを調べる。
|
