2019 Fiscal Year Research-status Report
統計的機械学習の手法を用いたデータ駆動型非線形準最適制御
Project/Area Number |
19K20375
|
Research Institution | Nagoya University |
Principal Investigator |
有泉 亮 名古屋大学, 工学研究科, 助教 (30775143)
|
Project Period (FY) |
2019-04-01 – 2022-03-31
|
Keywords | 強化学習 / 応答曲面法 / 最適制御 |
Outline of Annual Research Achievements |
本期間では,今後の研究遂行の基礎となる強化学習アルゴリズムの構築を中心として研究を進めた.特に,当初の予定とは異なるが,まず,達成目標として考えている複雑なロボット挙動のモデルフリー最適化において利用される,方策勾配法に基づく新しいアルゴリズムを提案した.提案する学習法を用いることで,複雑かつ自然界に参考となる対象が存在しないロボットに対して,適切な運動を獲得できることをシミュレーションで確認した.なお,従来知られている学習方法では学習困難であることも確認済みである.この内容はこの分野においてトップクラスの国際学会誌に採択されている(オンライン速報版は掲載済み). 一方,当初予定していた受動性予測や受動性に基づく制御への統計的機械学習の応用については,技術的課題が十分に解決できていない.現在,一度モデルフリーの考え方から離れ,受動性に強く結びついたモデル化であるポート・ハミルトン形式を応用した新しい学習法について検討を進めている.ポート・ハミルトン形式は解析力学で知られるハミルトン形式を拡張したモデルであり,受動性に基づく制御でよく利用されている.すでに強化学習を組み込んだ研究もなされているが,対象となりうる問題は限定的である.そこで,今後より積極的にポート・ハミルトン形式を利用した,より広範な問題に適用できる学習則の提案に向けて研究を進めている. 現状では,当初中心的な手法と考えていた応答曲面法を利用した新しい手法の提案には至っていないが,上述のような研究の結果に応用することで,さらに探索の効率化を達成したり,適用範囲を広げることが可能となると考えている.
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初予定していた内容については技術的困難を解決できず,別の方法を模索中であるが,一方で,予定していたものとは別の方法により目的を達成する新しいアルゴリズムを提案することができた.研究において中心に据えることを予定していた手法である応答曲面法は使用していないが,目的としていることに近いもの(少ないデータによるロボットの運動学習)を達成可能な手法である.今後,応答曲面法との組み合わせなどにより,必要なデータ数をより大幅に削減することなども見込めると考えている.
|
Strategy for Future Research Activity |
まず,ポート・ハミルトン形式を応用した学習法を完成させる.この手法ではモデルが必須であるが,受動性に基づく制御はモデル化誤差にロバストであることが知られている.したがって,かなり簡易化したモデルであっても学習が可能な手法を作れるのではないかと考えている.また,モデル化誤差による悪影響を抑えるために,応答曲面法が使えるのではないかと考えている. 上記はモデルベースの考え方からのアプローチであるが,モデルフリーな学習則からのアプローチとして,現在までに提案した学習則に応答曲面法を応用することを考える.これにより,さらに必要なサンプル数の低減を図る.
|
Causes of Carryover |
当初購入を予定していたデスクトップパソコンおよびグラフィックボードについては,他の研究で使用していた同等以上の物を利用できることとなったこと,また予定していた設置場所が他研究の機材などで埋まってしまい,本年中の追加設置が困難となったことから購入を中止した.なお,前述のように,本年中の研究遂行に必要な機材は確保できていたため,研究遂行に支障をきたすものではなかった.また,年度末に予定していた出張が新型コロナウイルスの流行により中止となった. 次年度以降,実験に使用するロボット等の作成や,老朽化しているコンピュータの買い替え,論文掲載での利用を見込んでいる.特に,ヘビ型ロボットなどの生物模倣型ロボットを作成することを考えており,多数の高性能サーボモータを購入する予定である他,3Dプリンタ用のフィラメント材料等を購入する予定である.
|
Research Products
(2 results)