| 研究課題/領域番号 |
22K03539
|
|---|
| 研究機関 | 東京大学 |
|---|
研究代表者 |
永井 佑紀 東京大学, 情報基盤センター, 准教授 (20587026)
|
|---|
| 研究分担者 |
富谷 昭夫 東京女子大学, 現代教養学部, 講師 (50837185)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2025-03-31
|
| キーワード | 機械学習 / 自己学習モンテカルロ法 / Transformer / ニューラルネットワーク |
|---|
| 研究実績の概要 |
近年、生成AIと呼ばれる大規模言語モデルが大きく性能を伸ばし、さまざまな分野へと波及している。この大規模言語モデルの基本ネットワークアーキテクチャはTransformerであり、そのビルディングブロックはAttention層である。言語モデルにおいて非常に高い性能を上げているこれらのアーキテクチャは、物理系のモデルにおいても同様に高い性能が得られる可能性がある。一方で、大規模言語モデルは数十億以上のパラメータを持ち、訓練のためには大規模な計算機資源が必要であり、かつ、推論でも高性能な計算資源が必要であるため、物理系のシミュレーションを高速化するためにはそのままでは困難があると想定された。そこで、本科研費のテーマである「対称性」をネットワーク構造に持たせることで、Transformerネットワークのパラメータ数を劇的に減らすことを試みた。スピン系においてこの方法はうまくいっており、現在論文を投稿中である。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
1: 当初の計画以上に進展している
理由
Transformerアーキテクチャに物理系の対称性を取り込む方法を発見し、最新の機械学習手法である大規模言語モデルと同等のネットワークアーキテクチャの構成に成功したため。
|
| 今後の研究の推進方策 |
系の物理的対称性を保ったTransformerとAttention機構を組み込んだニューラルネットワークが出来上がったので、この方法がさまざまな物理系で使えるかどうかを調べ、大規模言語モデルのような高い性能を持つかどうかを調べる。
|
| 次年度使用額が生じた理由 |
GPUを用いてニューラルネットワークを訓練と推論を行うため、最新のGPUを搭載した計算機をR6年度の前半に導入する予定である。計算機の購入のために次年度使用額が0より大きくなっている。
|
