| 研究課題/領域番号 |
24K07074
|
|---|
| 研究機関 | 国立研究開発法人日本原子力研究開発機構 |
|---|
研究代表者 |
田村 文彦 国立研究開発法人日本原子力研究開発機構, J－PARCセンター, 研究主幹 (90370428)
|
|---|
| 研究期間 (年度) |
2024-04-01 – 2027-03-31
|
| キーワード | 陽子シンクロトロン |
|---|
| 研究実績の概要 |
本研究は、GPU計算機を用いてビームシミュレーション及び深層強化学習を行うことで加速器の電圧パターンの最適化を図るものである。2024年度は、ビームシミュレーションの基礎となる環境のセットアップおよび強化学習の枠組みの検討、構築を行った。2024年度初頭の検討結果から、申請時の構想と比較して、よりGPUに重きを置いた計算機を用いることが特に深層強化学習の遂行に必要であることが分かってきた。このため、GPU として高性能な NVIDIA RTX 6000Ada を用いた計算機を購入した。年度末の納品となったため、この高性能計算機を使用しての深層強化学習やビームシミュレーションは 2024年度内には実行することができなかったが、手持ちの計算機を用い、縦方向ビームシミュレーションの構築を主として行った。CERN で開発されている BLonD と呼ばれる計算コードを用いて、J-PARC RCS の加速中の縦方向ビーム挙動をよく再現することができている。CERN で開発されている BLonD と呼ばれる縦方向ビームシミュレーションコードについて、深層強化学習のプラットフォームとして用いるための検討を行った。深層強化学習の手法選択については、文献調査を行った。本研究課題である電圧パターンにおいて、制御値は連続値での強化学習となるため、手法については Actor-Critic およびその派生である TD3 等の数種類に絞られる。強化学習の報酬の定義の検討や、インタフェースについての検討を進めた。
2024年度においては、雑誌・学会等での発表はない。
|
| 現在までの達成度 |
現在までの達成度
3: やや遅れている
理由
「５．研究実績の概要」で示したように、当初計画から変更して高性能の GPU計算機を購入することとしたが、納入時期が年度末となり、2024年度内に GPU計算機を用いた深層強化学習やビームシミュレーションを実行することができなかったため、研究の進捗はやや遅れている状況にある。しかし、研究代表者が以前から所有する計算機を用いて、縦方向ビームシミュレーションの構築を進めたことで遅れは、最小限にとどめることができた。
|
| 今後の研究の推進方策 |
2025年度は、2024年度に遂行することができなかった深層強化学習の構築について急務として強力に進める。
1) 深層強化学習の電圧パターン最適化の原理実証: 深層強化学習による電圧パターン生成を行うフレームワーク作りから始める。ビームシミュレーションに必要な高速CPU、深層強化学習に必要なGPUを備えた計算機を導入する。状態として用いるパラメータの選択、深層強化学習の手法の選択、報酬の定義などの基礎的な研究を行い、まず、加速基本波の電圧パターンの生成を行う。特に、解析的に最適な電圧パターンが得られる条件化での学習を行い、深層強化学習が最適な電圧パターンに収束するかを調査していく。
2) 2倍高調波を含めた電圧パターンの最適化: 2倍高調波電圧を含めた場合には強化学習における行動が多次元なものとなる。フレームワークの拡張を行い、パターンの生成、最適化を試みる。現在使用されている電圧パターンとのBLonDシミュレーション結果との比較を行い、深層強化学習により最適化されたパターンの評価を行う。3倍高調波以上を含めたマルチハーモニックビーム加速のためのパターン生成、最適化を行う。BLonDシミュレーションでバンチの平坦度等の向上が確認できたならば、今後のRFシステムの改造に向けた提案を行う。
3) 技術課題の明確化、フレームワークのパッケージ化: 加速器の他分野での深層強化学習の適用を目指し、必要な計算機資源の明確化を行うとともに、フレームワークをパッケージ化し、加速器でパターンを必要とする他の装置への適用を可能とする。
|
| 次年度使用額が生じた理由 |
2024年度に購入したGPU計算機について、当初予定していた価格よりも安価で購入することができたため、次年度使用額が生じることとなった。次年度使用額は、2025年度分研究費と合わせて、深層強化学習に必要なストレージの購入に係る費用等として使用する。
|
