2019 Fiscal Year Research-status Report
Hierarchical Reinforcement Learning for Autonomous Motion Planning with Real Robots
| Project/Area Number |
19K20370
|
|---|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
長 隆之 九州工業大学, 大学院生命体工学研究科, 准教授 (50804663)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 軌道最適化 / ニューラルネットワーク / 動作計画 |
|---|
| Outline of Annual Research Achievements |
本研究では、実ロボットに適用可能な、複雑な軌道を計画する方法を学習することのできる階層型深層強化学習アルゴリズムの開発することを目標としている．本研究においては、タスクを実行するための多様な解を見つけ出し、それぞれをオプションとして使い分けることが必要となる。
当該年度では、階層型強化学習の考え方を利用した、多様な解を見つけ出す軌道最適化の手法を開発した。この手法では、目的関数の多峰性に着目し、拘束条件を満たす複数の解を見つけ出すことができる。この手法で行っている処理は、実行可能な軌道のなす空間の離散的な潜在表現を学習していることに相当する。また、開発した手法を使って自動生成した多様な軌道を用い、様々な軌道をモデル化するニューラルネットワークのアーキテクチャを考案した。さらに、無限個の解が存在するような最適化問題において、解のなす空間の連続的な潜在表現を学習することによって、多様な解をモデル化する手法を開発した。これらの手法は、今後、階層型強化学習においてオプションとなる方策を学習するうえで利用することができる。
また、実ロボットにおける動作検証を行う準備として、デンソーウェーブ社製の協働ロボットCobottaを購入し、ダイレクトティーチングによる軌道の計測や、リアルタイムで動作指令を送るためのソフトウェアを構築した。これらのシステムを用いて、次年度以降に実ロボットを用いた本格的な実験を行っていく。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究で必須となる、実ロボットで実行可能な多様な解を見つけ出す、という研究課題を解決できたという点で、順調に進んでいる。また、多様な軌道を一つのモデルで表現するためのニューラルネットワークの構造についても、見通しを立てることができた。さらに、実ロボットを用いた実験をするための準備を整えることができた。
|
| Strategy for Future Research Activity |
当初の計画の通りに研究が進展していることから、予定通りに研究を進める。当該年度に開発した手法を深層強化学習に適用していく方法について検討していく。
|
| Causes of Carryover |
若手研究における独立基盤形成支援（試行）により、より複雑なタスクを実現するために必要な２台目のロボットを購入する費用として150万円の物品費が得られたが、研究の進捗状況を鑑みて、当該年度に２台目のロボットを購入する必要がないと考えたため、当該年度の購入を見送った。次年度に、この150万円をもちいて２台目のロボットを購入し、複雑なマニピュレーションのタスクを実行するためのシステムを構築する予定である。
|
