| 研究課題/領域番号 |
21K14178
|
|---|
| 研究種目 |
若手研究
|
| 配分区分 | 基金 |
|---|
| 審査区分 |
小区分21040:制御およびシステム工学関連
|
|---|
| 研究機関 | 群馬大学 |
|---|
研究代表者 |
川口 貴弘 群馬大学, 大学院理工学府, 助教 (00869844)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| 研究課題ステータス |
交付 (2022年度)
|
| 配分額 *注記 |
4,420千円 (直接経費: 3,400千円、間接経費: 1,020千円)
2023年度: 780千円 (直接経費: 600千円、間接経費: 180千円)
2022年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2021年度: 2,600千円 (直接経費: 2,000千円、間接経費: 600千円)
|
|---|
| キーワード | 分散制御 / 強化学習 / レトロフィット制御 / 制御工学 / 安定性 |
|---|
| 研究開始時の研究の概要 |
分散制御系の分散設計法として提案されたレトロフィット制御理論を強化学習に適用し，安定性を保証した強化学習手法を開発する．レトロフィット制御理論は既知のサブシステムと未知のサブシステムが接続されたシステムに対する制御系設計法である．レトロフィット制御理論では，制御器は未知サブシステムから得られる信号を調整する整流器と，既知サブシステムを安定化する内部制御器から構成される．強化学習にレトロフィット制御理論を適用するために，整流器の構造付きの強化学習法と，学習による制御器が既知サブシステムを安定化することを保証する方法を検討することで，安定性を保証した強化学習法を達成する．
|
| 研究実績の概要 |
本研究では，レトロフィット制御理論と強化学習法を組み合わせることで，どのようなデータが得られたとしても制御系の安定性を保証できる適応的な分散制御法の構築を目指している．レトロフィット制御理論によって安定性を保証する鍵の一つは，対象の物理によって決まる整流器を制御器の内部に含めることである．したがって，レトロフィット制御の考え方を強化学習に取り入れるためには，このような整流器を含んだうえで，内部制御器のみを学習する，構造付きの学習法が必要になる．
本年度は，昨年度提案した方法である有限インパルス応答表現を用いたレトロフィット強化学習法の適用について，精度向上のための手法の検討を行った．インパルス応答表現を用いる際には，制御に用いる信号の過去の値を多数保持し，それらの係数を学習によって求めることが必要である．この特徴から，求めるパラメータ数が多くなり，雑音などの影響を受けやすくなるという欠点があった．この問題点を解決するために，近年システム同定の分野で注目されているインパルス応答推定法である，カーネルに基づく正則化法を組み合わせて利用することを提案した．これにより，雑音の影響を受けにくくなり，学習後の制御性能が向上することをシミュレーションを通して確かめた．その過程で，システム同定にも利用可能な新たなカーネル正則化法を提案することができた．
さらに，これまでは強化学習を行う主体が単一であることを仮定して研究を行ってきたが，一つの大規模システムを複数の主体が管理する状況を想定し，複数主体が同時に強化学習を行う状況への適用についても検討した．シミュレーションを通して，それぞれの主体の学習結果が互いに悪影響を及ぼすことはなく，単一主体での学習では達成不可能な性能を達成できることを示した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
レトロフィット制御と強化学習法の融合に不可欠な構造付き強化学習問題における特有の構造である，制御器のインパルス応答表現に対して精度向上を達成することができた．また，研究計画を越えて，複数主体の存在下での提案法の有用性を確かめることができた．一方で，制御器の更新時の安定性の条件をより効率的に満たすための方法の提案が必要であるが，これについては検討を始めた段階である．これらのことから，研究はおおむね順調に進展していると判断する．
|
| 今後の研究の推進方策 |
レトロフィット制御に基づく強化学習法では，調整された内部制御器と，対象システムのうち既知な部分である局所制御器とのフィードバック接続が安定であることが必要である．現在は学習によって得られた制御器がこの仕様を満たしているかを事後的にチェックし，満たしていない場合は学習結果を棄却するという方策を考えている．本年度の成果である，学習される制御器の精度向上により，この条件を満たす可能性は高まることが期待されるが，より理論的な検討も必要である．このような理論検討を行っていく予定である．また，レトロフィット制御は従来，シミュレーションベースでの有用性の検証にとどまってきたが，簡単な実験機を作成し，実機を用いた検証も行っていく予定である．
|
