• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

強化学習による適応的制御を用いたプラズマの複合制御の実現

Research Project

Project/Area Number 19K14697
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 14020:Nuclear fusion-related
Research InstitutionNational Institutes for Quantum Science and Technology

Principal Investigator

若月 琢馬  国立研究開発法人量子科学技術研究開発機構, 那珂研究所 先進プラズマ研究部, 主幹研究員 (40734124)

Project Period (FY) 2019-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2022: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2021: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2020: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2019: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Keywordsトカマク / 強化学習 / 適応的制御
Outline of Research at the Start

定常運転を行う核融合炉では、プラズマ電流の大部分が自発電流で駆動されるプラズマが求められるが、そのようなプラズマでは圧力と電流分布がプラズマの輸送特性によって自律的に決定される。このような自律性の高いプラズマの性能を安定に維持するために、本研究では実験における輸送特性に適応して制御を行うシステムを強化学習の手法を用いて実現する。強化学習を用いたシステムでは各制御時刻でのプラズマの応答特性を入力データから推定し、その特性に適応して制御を行うことができると期待され、多様な輸送特性を持つプラズマの信頼性の高い制御が実現できる。

Outline of Annual Research Achievements

令和5年度は令和4年度までに開発した二段階のニューラルネットワークによる安全係数分布と規格化ベータ値の複合制御システムの制御特性を数値シミュレーションにより試験した。第一段階目のニューラルネットワークについては、計測データから輸送障壁の強度を判定することができることを確認した。第二段階目のニューラルネットワークについては、学習対象として与える輸送障壁の強度の幅を制限したことにより、定常状態の安全係数分布をより早く実現するための制御が学習できることを確認した。二段階のシステムでは定常状態の安全係数分布をより早く実現するために、一時的に目的とする安全係数分布とは異なる分布を経由する制御が学習された。このように、長時間の制御の後に結果として得られる制御結果を最適化するために、一時的に制御目標から離れるような制御を行う結果は強化学習を利用したことにより実現された。これらの結果より、二段階の制御システムを採用したことにより、強化学習の特性を最大限利用した制御システムが実現されていることが明らかになった。以上の結果から、二段階の制御システムが適応的な制御を実現し、これまで困難だった輸送障壁を持つプラズマにおける安全係数分布と規格化ベータ値の複合制御を行うことができるようになった理由を明らかにした。以上の制御システムの研究開発及びその特性の理解について、核融合領域における最大の国際学会の一つであるIAEA核融合エネルギー会議において口頭発表を行った。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

JT-60SAに対して開発した二段階のニューラルネットワークによる安全係数分布と規格化ベータ値の制御システムについて、その制御特性の理解が進んだ。

Strategy for Future Research Activity

令和5年度に開発を行った電流分布、圧力分布の複合制御を行うシステムについて、外国装置での実験提案を行うとともに、JT-60SA装置への実装の準備を進める。

Report

(5 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Research-status Report
  • 2020 Research-status Report
  • 2019 Research-status Report
  • Research Products

    (9 results)

All 2023 2022 2021 2019

All Journal Article (3 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (6 results) (of which Int'l Joint Research: 3 results,  Invited: 1 results)

  • [Journal Article] Investigation of q-profile and normalized beta control in JT-60SA using reinforcement learning2022

    • Author(s)
      T. Wakatsuki, T. Suzuki, N. Hayashi, M. Yoshida
    • Journal Title

      Europhysics conference abstracts

      Volume: 46A

    • Related Report
      2022 Research-status Report
  • [Journal Article] Ion temperature gradient control using reinforcement learning technique2021

    • Author(s)
      T. Wakatsuki, T. Suzuki, N. Oyama and N. Hayashi
    • Journal Title

      Nuclear Fusion

      Volume: 61 Issue: 4 Pages: 046036-046036

    • DOI

      10.1088/1741-4326/abe68d

    • Related Report
      2020 Research-status Report
    • Peer Reviewed
  • [Journal Article] 小特集 プラズマ・インフォマティクス -データ駆動科学のプラズマへの応用 4.トカマクプラズマ運転への応用展開2019

    • Author(s)
      若月 琢馬 , 横山 達也 , 大山 直幸 , 山田 弘司
    • Journal Title

      プラズマ・核融合学会誌

      Volume: 95 Pages: 548-553

    • Related Report
      2019 Research-status Report
    • Open Access
  • [Presentation] Adaptive Control of Safety Factor Profile and Normalized Beta for JT-60SA Using Reinforcement Learning2023

    • Author(s)
      T. Wakatsuki, M. Yoshida, E. Narita, T. Suzuki, N. Hayashi and S. Ide
    • Organizer
      29th IAEA Fusion Energy Conference
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Investigation of q-profile and normalized beta control in JT-60SA using reinforcement learning2022

    • Author(s)
      T. Wakatsuki, T. Suzuki, N. Hayashi, M. Yoshida
    • Organizer
      The 48th European Conference on Plasma Physics
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] JT-60SAに向けたプラズマ制御手法の開発2022

    • Author(s)
      若月 琢馬
    • Organizer
      NIFS共同研究研究会 「核融合プラズマの運転制御に関するシミュレーション研究の進展」
    • Related Report
      2022 Research-status Report
    • Invited
  • [Presentation] 機械学習を用いたJT-60SAのシナリオ開発2022

    • Author(s)
      若月 琢馬
    • Organizer
      プラズマ・核融合学会第39回年会
    • Related Report
      2022 Research-status Report
  • [Presentation] JT-60SAにおける強化学習を用いた安全係数分布制御の検討2021

    • Author(s)
      若月琢馬、林伸彦、吉田麻衣子
    • Organizer
      プラズマ・核融合学会第38回年会
    • Related Report
      2021 Research-status Report
  • [Presentation] Ion temperature profile control system using reinforcement learning technique2019

    • Author(s)
      Takuma Wakatsuki, Takahiro Suzuki, Naoyuki Oyama and Nobuhiko Hayashi
    • Organizer
      22nd ITPA IOS-TG Meeting
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research

URL: 

Published: 2019-04-18   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi