2022 Fiscal Year Research-status Report
Discrete and Continuous Reinforcement Learning with a Library of Skills and its Application to Robotic Food Manipulation
| Project/Area Number |
21K12070
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
山口 明彦 東北大学, 医学系研究科, 非常勤講師 (10625031)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | ロボットラーニング / 強化学習 / ロボットマニピュレーション / 触覚センシング / 触覚マニピュレーション |
|---|
| Outline of Annual Research Achievements |
本研究では，スキルの組み合わせ探索とパラメータの最適化で構成される「離散連続強化学習」手法の構築と，これにより，ロボットによって調理などの高度な物体操作を自動化することを目標とする．具体的には，次の(A)(B)(C)を研究項目として設定している．(A)スキルライブラリの構築，(B)スキルライブラリを利用したロボット動作の計画・制御・学習手法の開発，(C)シミュレーションやロボットを用いたタスクでの検証．本年度は，各研究項目について，以下の進展があった．(C-1)視触覚センサFingerVisionを搭載した高機能ロボットハンドを開発し，触覚情報処理プログラムや基本制御プログラムを開発した．このハンドを利用し，(A-1)手探り把持スキルを実装した．回日本ロボット学会学術講演会にて(C-1)(A-1)の学会発表を行った．(C-2)注ぐタスクにおいて，漏斗などの道具の使用やマヨネーズの容器のような柔軟な容器をシミュレーション実験で扱えるようにするためのシミュレータを開発した．このシミュレータは，これまでに我々が開発した注ぐタスクの検証シミュレータを改良する形で行われており，これまでと同様に粘性をもった液体などのシミュレーションが実施できることに加えて，(C-2)の改良が導入されている．この成果を回日本ロボット学会学術講演会にて発表した．このシミュレータを利用し，(A-2)注ぐタスクのための新たなスキルとして漏斗を利用するスキル，柔軟な容器を圧縮するスキルを開発した．さらに，(B-1)提案する離散連続強化学習手法で効率的に扱えるようにするダイナミクスモデルの構成方法を開発した．特に，学習したモデルが異なる状況でも共有できる（再利用できる）ような工夫を導入することで，学習効率を向上させることに成功した．一連の成果は国際会議にて発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究の主軸項目である(A)スキルライブラリの構築，(B)スキルライブラリを利用したロボット動作の計画・制御・学習手法の開発，(C)シミュレーションやロボットを用いたタスクでの検証，のそれぞれについて研究成果があり，理論面と実装・実験面の両方で研究を推進できたと考える．特に，予定していた「注ぐ」スキルのバリエーションを増やすこと，これに伴うシミュレーション環境の開発，ロボットによるモーションの実装，ダイナミクスの学習と推論システムの強化を実施できた．
|
| Strategy for Future Research Activity |
これまでに開発したスキルセットとロボット動作の計画・制御・学習手法をもとに，より高度・複雑なタスクへの実装を進めるとともに，その過程で明らかになった課題に対する解決策の構築を通じて，ロボット動作の計画・制御・学習手法の改善に取り組む．
|
| Causes of Carryover |
半導体不足などの影響により購入を予定していた装置の入手が困難となったため代替手段を検討しており，この影響で本年度の支出にはならず翌年度に持ち越しとなった．
|
