| Project/Area Number |
21K14178
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 21040:Control and system engineering-related
|
|---|
| Research Institution | Gunma University |
|---|
Principal Investigator |
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Completed (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2021: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
|
|---|
| Keywords | 分散制御 / 強化学習 / レトロフィット制御 / 制御工学 / 安定性 |
|---|
| Outline of Research at the Start |
分散制御系の分散設計法として提案されたレトロフィット制御理論を強化学習に適用し，安定性を保証した強化学習手法を開発する．レトロフィット制御理論は既知のサブシステムと未知のサブシステムが接続されたシステムに対する制御系設計法である．レトロフィット制御理論では，制御器は未知サブシステムから得られる信号を調整する整流器と，既知サブシステムを安定化する内部制御器から構成される．強化学習にレトロフィット制御理論を適用するために，整流器の構造付きの強化学習法と，学習による制御器が既知サブシステムを安定化することを保証する方法を検討することで，安定性を保証した強化学習法を達成する．
|
| Outline of Final Research Achievements |
A novel control method that combines reinforcement learning with retrofit control, a technique used when only part of the system model is known, has been proposed. Specifically, a method for learning control laws while retaining the rectifier, a distinctive structure of retrofit control, has been investigated. This approach enables adaptation to environmental changes through reinforcement learning while theoretically ensuring system stability. The effectiveness of the proposed method has been validated through numerical simulations on a simplified power system model and simple real-world experiments.
|
| Academic Significance and Societal Importance of the Research Achievements |
一般に，強化学習は環境の変化に適応する制御手法として知られているが，制御系の最も基本的で重要な性質の安定性を理論的に保証することが困難であった．本研究では制御を行う前のシステムが安定であるという事前情報を活用し，レトロフィット制御理論を応用することにより，強化学習による制御系の安定性を理論的に保証することができた．これにより，産業界などでの実用化の際に，学習途中での機器の暴走などを防止することが可能となる．
|
