| 研究課題/領域番号 |
21K14178
|
|---|
| 研究機関 | 群馬大学 |
|---|
研究代表者 |
川口 貴弘 群馬大学, 大学院理工学府, 助教 (00869844)
|
|---|
| 研究期間 (年度) |
2021-04-01 – 2024-03-31
|
| キーワード | 分散制御 / 強化学習 / レトロフィット制御 |
|---|
| 研究実績の概要 |
本研究では，レトロフィット制御理論と強化学習法を組み合わせることで，どのようなデータが得られたとしても制御系の安定性を保証できる適応的な分散制御法の構築を目指している．レトロフィット制御理論によって安定性を保証する鍵の一つは，対象の物理によって決まる整流器を制御器の内部に含めることである．したがって，レトロフィット制御の考え方を強化学習に取り入れるためには，このような整流器を含んだうえで，内部制御器のみを学習する，構造付きの学習法が必要になる．
本年度はこのような構造付きの強化学習問題の定式化を行い，その解法について検討した．典型的な強化学習法では，システムの内部状態がすべて観測されることを仮定するのが一般的である．これに対して，レトロフィット制御を適用する分散制御の問題設定においては，内部状態のうち一部分のみが得られる部分観測の問題を扱う必要がある．部分観測の強化学習問題に対しては，過去の入出力データを並べて内部状態の代わりに用いる方法，すなわち，自己回帰移動平均モデルを用いた制御器を学習する方法が存在している．しかし，レトロフィット制御との融合においては，この方法が本質的に利用不可能であることを初めて明らかにした．この問題点の解決策として，利用可能な信号の過去の値を多数並べて利用する有限インパルス応答表現を用いることを提案した．電力系統の簡単なモデルに対して提案法を適用し，システムの安定性を保証しつつ，制御性能の向上が可能であることを示した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
当初の研究計画の通り，レトロフィット制御と強化学習法の融合に不可欠な構造付き強化学習問題の定式化を行い，その問題点を明らかにしたうえで一つの解決法を提案することができた．このことから，研究はおおむね順調に進展していると判断する．
|
| 今後の研究の推進方策 |
本年度はレトロフィット制御の構造付きで制御器を学習する方法を検討した．レトロフィット制御のもう一つの鍵は，調整された内部制御器と，対象システムのうち既知な部分である局所制御器とのフィードバック接続が安定であることを保証することである．現在は学習によって得られた制御器がこの仕様を満たしているかを事後的にチェックし，満たしていない場合は学習結果を棄却するという方策を考えている．今後はより積極的に仕様を満たすことができる学習法を検討する予定である．
|
| 次年度使用額が生じた理由 |
既存の設備でこれまでの研究が実施可能であったため，高性能計算機の購入を延期したこと，参加予定であった国際会議がコロナ禍でオンライン開催となったこととも関係して，参加を見送ったことに旅費の支出額が少なくなったため，次年度使用額が生じた．今後の研究では計算資源の増強の必要性が見込まれるため，当初予定していた高性能計算機の購入などに充てる予定である．
|
