| 研究課題/領域番号 |
19K04448
|
|---|
| 研究種目 |
基盤研究(C)
|
| 配分区分 | 基金 |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分21040:制御およびシステム工学関連
|
|---|
| 研究機関 | 東京都立産業技術高等専門学校 |
|---|
研究代表者 |
福永 修一 東京都立産業技術高等専門学校, ものづくり工学科, 准教授 (70402518)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2024-03-31
|
| 研究課題ステータス |
交付 (2022年度)
|
| 配分額 *注記 |
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2022年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2021年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2020年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2019年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
|
|---|
| キーワード | システム同定 / 機械学習 / ロバスト統計 / 強化学習 |
|---|
| 研究開始時の研究の概要 |
本研究の目的は異常値が含まれる観測データから非線形システムをロバストかつ逐次的に同定するアルゴリズムを構築することである。異常値を取り除くための方法として、機械学習の分野で提案されたロバストな評価指標であるベータダイバージェンスを用いる。ペータダイバージェンスを最小化することにより導出するパラメータの逐次更新則は、異常値が含まれたデータに対して重みを小さくすることにより異常値に影響を受けない推定アルゴリズムとなる。
|
| 研究実績の概要 |
本研究では観測に異常値が含まれるデータからシステムを推定するアルゴリズムを開発することが目的である．計画4年目にあたる2022年度は以下の3つの課題に取り組んだ．
(1) システム同定のための非線形モデルとして本研究はポートハミルトン系に着目し，ポートハミルトン系のための強化学習法を提案した．強化学習は試行錯誤により報酬を最大化する制御則を獲得するアルゴリズムである．ポートハミルトン系のための強化学習は，未知パラメータを含むポートハミルトン系に対して制御則を学習する方法である．従来提案されていたポートハミルトン系のための強化学習に対して自然勾配法を導入することにより，従来よりも高速に学習が可能なアルゴリズムを提案した．
(2) ポートハミルトン系のための強化学習はこれまで確率的方策が用いられてきたが，制御入力に含まれるノイズがシステムの意図しない動作を引き起こす可能性がある．本研究では確率的方策を決定論的方策に置きかえることにより制御入力にノイズが入らないようにし，決定論的方策を勾配法により学習するアルゴリズムを提案した．
(3) 強化学習は報酬を最大化するアルゴリズムであるが，実問題を考えると報酬の観測に外れ値が混入する場合がある．外れ値の影響を抑えた推定を行う方法としてベータダイバージェンスを用いたロバスト推定が提案されている．ベータダイバージェンスを用いたロバスト推定は重み関数を用いることにより外れ値の影響を抑えた推定を行うことができる．本研究ではポートハミルトン系のための強化学習において，報酬の観測に外れ値が含まれる問題に対してベータダイバージェンスを用いたロバストなパラメータ更新則を提案した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
2022年度は研究実績の概要で述べた3つの課題について取り組み，それぞれの課題に対して有効な方法を提案した．ベータダイバージェンスを用いた動的システムの推定に関する研究に関して一部遅れていることから進捗状況はやや遅れていると言える．2022年度の具体的な成果は以下の3つである．
(1) ポートハミルトン系のための強化学習に対して方策の学習に自然勾配法を用いることにより，従来手法よりも学習が高速なアルゴリズムを提案した．提案手法ではTD誤差を用いて状態価値関数のパラメータを逐次更新している点が特徴となっている．
(2) ポートハミルトン系のための決定論的方策勾配法として方策オフ型の学習アルゴリズムを導出した．方策オフ型のアルゴリズムでは探索時にノイズをのせる一方，方策オン型ではノイズをのせないアルゴリズムとなっている．本来であれば方策オン型を選択する必要があるが，探索時にノイズをのせないと学習が進まないため本研究では方策オフ型を採用した．
(3) ポートハミルトン系の強化学習ではパラメータを逐次更新する点が特徴である．パラメータの逐次更新則において重み関数を導入することにより，報酬の観測に外れ値が含まれた場合には，重み関数が小さくなることにより外れ値の影響を抑えたパラメータの更新ができるアルゴリズムを導出した．
|
| 今後の研究の推進方策 |
2023年度は2022年度に得られた3つの成果を発展させ，さらに今年度十分に進めることができなかった研究を1件実施する予定である．
(1) ポートハミルトン系の強化学習ではシステムのパラメータの一部を既知としている．強化学習は未知のモデルに対して方策を学習するアルゴリズムであるため，システムのすべてのパラメータが未知であることが望ましい．システムのすべてのパラメータを未知としてポートハミルトン系の制御則を勾配法により学習するアルゴリズムを導出する．
(2) 強化学習において決定論的方策を用いる場合において，確率的探索を実現するために制御入力にノイズをのせるのではなく，方策パラメータを確率的に決めるPolicy Gradient with Parameter-based Explorationと呼ばれる方法が提案されている．この方法をポートハミルトン系のための強化学習に導入することにより，決定論的方策を用いても確率的な探索を行えるアルゴリズムが構築できると期待できる．
(3) 強化学習は報酬関数の設計が必要となるが，複雑なタスクにおいては報酬関数の設計が難しいという問題がある．報酬関数を熟練者の行動データから推定する方法として逆強化学習が提案されている．行動データの観測に外れ値が含まれる場合において，ベータダイバージェンスを用いることにより外れ値に対してロバストな逆強化学習法を提案する．
(4) 外れ値が含まれる観測データから動的システムのパラメータを逐次的に推定する問題においてもベータダイバージェンスを用いた方法は有効であると期待できる．動的システムのパラメータに対する逐次最小二乗法のアルゴリズムをベータダイバージェンスを用いることによりロバスト化する方法を提案する．
|
