2023 Fiscal Year Annual Research Report
サービスロボットのためのスケーラブルなオフライン学習システムの研究
| Project/Area Number |
22KJ0881
|
|---|
| Allocation Type | Multi-year Fund |
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
松嶋 達也 東京大学, 工学系研究科, 特任研究員
|
|---|
| Project Period (FY) |
2023-03-08 – 2024-03-31
|
| Keywords | ロボット学習 / 深層学習 / 基盤モデル / サービスロボット |
|---|
| Outline of Annual Research Achievements |
家庭領域における生活支援タスクを行う実サービスロボットシステムの開発において，各ロボット学習の検証に取り組んだ．とくに，研究期間全体に渡り，モバイルマニピュレータHSRを用いた家庭内での生活支援タスクに関する研究開発を行った．
本研究では，まず，学習を用いることによりできるだけ簡単に環境やタスクの変化に対応できるようなシステム設計を行なった．具体的には，物理シミュレータ上で多様なレイアウトを生成し，それらを学習データに用いることで実世界の家具や物体認識に活用する（Sim2Real）ことや，最新のマルチモーダルモデルを組みわせ，物体の認識結果を言語情報を用いて簡単にチューニングできるようにするなどの仕組みを開発した．本研究内容に関する論文は英文誌Advanced Roboticsに採録されている．
さらに，これらの開発の経験をもとに，家庭内の生活支援ロボットを対象に，データドリブンなロボットシステムを構築するためのシステム設計や開発工程のあり方に関する検討を行った．データドリブンなロボットシステム開発は大きく分けて，学習データ改善のサイクル，モデル改善のサイクル，システム改善のサイクルと3階層に分けて整理し，それらのサイクルを効率的に開発するための開発支援システムを提案した．本研究内容に関する論文は和文誌日本ロボット学会誌のレターとして採録された．
さらに，最終年度には，基盤モデルを用いることにより，ロボットが当初のプランの実行に失敗したケースでも，プロンプトを自動生成することにより失敗から復帰するようなロバストなシステム設計に関する研究と，微分可能シミュレータを用いて柔軟な物体のパラメータを推定し，様々なパラメータで学習した物体操作方策を条件づけて布やロープの操作を行うReal2Sim2Realの研究を行った．これらの研究はロボティクスの国際会議ICRA2024に採択された．
|
-
-
[Presentation] Self-Recovery Prompting: Promptable General Purpose Service Robot System with Foundation Models and Self-Recovery2024
Author(s)
Shirasaka Mimo, Tatsuya Matsushima, Tsunashima Soshi, Ikeda Yuya, Horo Aoi, Ikoma So, Tsuji Chikaha, Wada Hikaru, Omija Tsunekazu, Komukai Dai, Matsuo Yutaka, Iwasawa Yusuke
Organizer
2024 IEEE International Conference on Robotics and Automation
Int'l Joint Research
-
-
