2023 Fiscal Year Research-status Report
Effective models constructed by neural networks with symmetries
| Project/Area Number |
22K03539
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
永井 佑紀 東京大学, 情報基盤センター, 准教授 (20587026)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
富谷 昭夫 東京女子大学, 現代教養学部, 講師 (50837185)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 機械学習 / 自己学習モンテカルロ法 / Transformer / ニューラルネットワーク |
|---|
| Outline of Annual Research Achievements |
近年、生成AIと呼ばれる大規模言語モデルが大きく性能を伸ばし、さまざまな分野へと波及している。この大規模言語モデルの基本ネットワークアーキテクチャはTransformerであり、そのビルディングブロックはAttention層である。言語モデルにおいて非常に高い性能を上げているこれらのアーキテクチャは、物理系のモデルにおいても同様に高い性能が得られる可能性がある。一方で、大規模言語モデルは数十億以上のパラメータを持ち、訓練のためには大規模な計算機資源が必要であり、かつ、推論でも高性能な計算資源が必要であるため、物理系のシミュレーションを高速化するためにはそのままでは困難があると想定された。そこで、本科研費のテーマである「対称性」をネットワーク構造に持たせることで、Transformerネットワークのパラメータ数を劇的に減らすことを試みた。スピン系においてこの方法はうまくいっており、現在論文を投稿中である。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
Transformerアーキテクチャに物理系の対称性を取り込む方法を発見し、最新の機械学習手法である大規模言語モデルと同等のネットワークアーキテクチャの構成に成功したため。
|
| Strategy for Future Research Activity |
系の物理的対称性を保ったTransformerとAttention機構を組み込んだニューラルネットワークが出来上がったので、この方法がさまざまな物理系で使えるかどうかを調べ、大規模言語モデルのような高い性能を持つかどうかを調べる。
|
| Causes of Carryover |
GPUを用いてニューラルネットワークを訓練と推論を行うため、最新のGPUを搭載した計算機をR6年度の前半に導入する予定である。計算機の購入のために次年度使用額が0より大きくなっている。
|
