Optimization of rf voltage patterns for particle accelerators using deep reinforcement learning

• Project/Area Number: 24K07074
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 15020:Experimental studies related to particle-, nuclear-, cosmic ray and astro-physics
• Research Institution: Japan Atomic Energy Agency
• Principal Investigator: 田村 文彦 国立研究開発法人日本原子力研究開発機構, J－PARCセンター, 研究主幹 (90370428)
• Project Period (FY): 2024-04-01 – 2027-03-31
• Project Status: Granted (Fiscal Year 2024)
• Budget Amount: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000); Fiscal Year 2026: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2025: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000); Fiscal Year 2024: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
• Keywords: 陽子シンクロトロン / 高周波加速（RF） / 深層強化学習

Outline of Research at the Start

陽子シンクロトンでは,加速開始から終了まで高周波電圧をパターンとして変化させる。大強度陽子加速器では,加速基本波に加え2倍高調波を加える運転が行われているが、2倍高調波の電圧パターンは手作業による最適化が行われているのが現状であり、より多数のハーモニクスを用いた運転を行う場合には、従来の手法では最適化が困難である。本研究では、RF 電圧パターンの生成、最適化に深層強化学習を応用することを目的とする。深層機械学習は手順の最適化に適した手法であり、パターンの最適化への応用が可能である。深層強化学習による電圧パターン生成、最適化の実証から始め、複数のハーモニクスの電圧パターンに拡張を行っていく。

Outline of Annual Research Achievements

本研究は、GPU計算機を用いてビームシミュレーション及び深層強化学習を行うことで加速器の電圧パターンの最適化を図るものである。2024年度は、ビームシミュレーションの基礎となる環境のセットアップおよび強化学習の枠組みの検討、構築を行った。2024年度初頭の検討結果から、申請時の構想と比較して、よりGPUに重きを置いた計算機を用いることが特に深層強化学習の遂行に必要であることが分かってきた。このため、GPU として高性能な NVIDIA RTX 6000Ada を用いた計算機を購入した。年度末の納品となったため、この高性能計算機を使用しての深層強化学習やビームシミュレーションは 2024年度内には実行することができなかったが、手持ちの計算機を用い、縦方向ビームシミュレーションの構築を主として行った。CERN で開発されている BLonD と呼ばれる計算コードを用いて、J-PARC RCS の加速中の縦方向ビーム挙動をよく再現することができている。CERN で開発されている BLonD と呼ばれる縦方向ビームシミュレーションコードについて、深層強化学習のプラットフォームとして用いるための検討を行った。深層強化学習の手法選択については、文献調査を行った。本研究課題である電圧パターンにおいて、制御値は連続値での強化学習となるため、手法については Actor-Critic およびその派生である TD3 等の数種類に絞られる。強化学習の報酬の定義の検討や、インタフェースについての検討を進めた。
2024年度においては、雑誌・学会等での発表はない。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

「５．研究実績の概要」で示したように、当初計画から変更して高性能の GPU計算機を購入することとしたが、納入時期が年度末となり、2024年度内に GPU計算機を用いた深層強化学習やビームシミュレーションを実行することができなかったため、研究の進捗はやや遅れている状況にある。しかし、研究代表者が以前から所有する計算機を用いて、縦方向ビームシミュレーションの構築を進めたことで遅れは、最小限にとどめることができた。

Strategy for Future Research Activity

2025年度は、2024年度に遂行することができなかった深層強化学習の構築について急務として強力に進める。
1) 深層強化学習の電圧パターン最適化の原理実証: 深層強化学習による電圧パターン生成を行うフレームワーク作りから始める。ビームシミュレーションに必要な高速CPU、深層強化学習に必要なGPUを備えた計算機を導入する。状態として用いるパラメータの選択、深層強化学習の手法の選択、報酬の定義などの基礎的な研究を行い、まず、加速基本波の電圧パターンの生成を行う。特に、解析的に最適な電圧パターンが得られる条件化での学習を行い、深層強化学習が最適な電圧パターンに収束するかを調査していく。
2) 2倍高調波を含めた電圧パターンの最適化: 2倍高調波電圧を含めた場合には強化学習における行動が多次元なものとなる。フレームワークの拡張を行い、パターンの生成、最適化を試みる。現在使用されている電圧パターンとのBLonDシミュレーション結果との比較を行い、深層強化学習により最適化されたパターンの評価を行う。3倍高調波以上を含めたマルチハーモニックビーム加速のためのパターン生成、最適化を行う。BLonDシミュレーションでバンチの平坦度等の向上が確認できたならば、今後のRFシステムの改造に向けた提案を行う。
3) 技術課題の明確化、フレームワークのパッケージ化: 加速器の他分野での深層強化学習の適用を目指し、必要な計算機資源の明確化を行うとともに、フレームワークをパッケージ化し、加速器でパターンを必要とする他の装置への適用を可能とする。