| 研究課題/領域番号 |
22K03539
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分13030:磁性、超伝導および強相関系関連
|
|---|
| 研究機関 | 東京大学 (2023)
国立研究開発法人日本原子力研究開発機構 (2022) |
|---|
研究代表者 |
永井 佑紀 東京大学, 情報基盤センター, 准教授 (20587026)
|
|---|
| 研究分担者 |
富谷 昭夫 東京女子大学, 現代教養学部, 講師 (50837185)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| 研究課題ステータス |
交付 (2023年度)
|
| 配分額 *注記 |
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2024年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2023年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
2022年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
|
|---|
| キーワード | 機械学習 / 自己学習モンテカルロ法 / Transformer / ニューラルネットワーク / 対称性 / 強相関電子系 |
|---|
| 研究開始時の研究の概要 |
ある理論的な模型は低エネルギー領域において別の有効模型で書ける場合がある。従来このような有効模型は人間が手で導出していた。本研究では、ニューラルネットワークを用いて有効模型の自動構築を試みる。さらに、系が持つ対称性を自動的に保つようなニューラルネットワークを用いることで、高精度な有効模型を構築する手法を確立する。これらにより、物性分野のシミュレーションを飛躍的に高速化することを目的とする。
|
| 研究実績の概要 |
近年、生成AIと呼ばれる大規模言語モデルが大きく性能を伸ばし、さまざまな分野へと波及している。この大規模言語モデルの基本ネットワークアーキテクチャはTransformerであり、そのビルディングブロックはAttention層である。言語モデルにおいて非常に高い性能を上げているこれらのアーキテクチャは、物理系のモデルにおいても同様に高い性能が得られる可能性がある。一方で、大規模言語モデルは数十億以上のパラメータを持ち、訓練のためには大規模な計算機資源が必要であり、かつ、推論でも高性能な計算資源が必要であるため、物理系のシミュレーションを高速化するためにはそのままでは困難があると想定された。そこで、本科研費のテーマである「対称性」をネットワーク構造に持たせることで、Transformerネットワークのパラメータ数を劇的に減らすことを試みた。スピン系においてこの方法はうまくいっており、現在論文を投稿中である。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
Transformerアーキテクチャに物理系の対称性を取り込む方法を発見し、最新の機械学習手法である大規模言語モデルと同等のネットワークアーキテクチャの構成に成功したため。
|
| 今後の研究の推進方策 |
系の物理的対称性を保ったTransformerとAttention機構を組み込んだニューラルネットワークが出来上がったので、この方法がさまざまな物理系で使えるかどうかを調べ、大規模言語モデルのような高い性能を持つかどうかを調べる。
|
