2023 Fiscal Year Research-status Report
Remote and Autonomous Integrated Service Robot System Based on Intuitive Human Sensation and Foundational Model
| Project/Area Number |
23K20003
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
小林 聖人 大阪大学, サイバーメディアセンター, 助教 (10979868)
|
|---|
| Project Period (FY) |
2023-08-31 – 2025-03-31
|
| Keywords | ロボティクス / 機械学習 / モーションコントロール / バイラテラル制御 / 遠隔制御 |
|---|
| Outline of Annual Research Achievements |
本研究では直感的な人間の感覚と大規模な基盤モデルに基づく、遠隔・自律融合型サービスロボットシステムの実現を目指している。
そこで本年度は主に(1)視覚・触覚等のマルチモーダルな情報に基づく直感的な遠隔操作技術の設計・実装、(2)マルチモーダルな基盤モデルに基づく遠隔・自律融合制御、(3)自律動作技術の開発とその評価を行った。
(1)視覚・触覚等のマルチモーダルな情報に基づく直感的な遠隔操作技術を開発するにあたり、４チャンネル型バイラテラル制御を活用することで、力センサレスで力触覚を取得可能なシステムを開発した。
(2)マルチモーダルな基盤モデルに基づく遠隔・自律融合制御では視覚・力触覚等のマルチモーダルな情報と行動モデル学習のAction Chunking with Transformerを活用することで、視覚や力触覚を伴う多様な入出力を扱うことが可能な行動モデルを学習可能となった。
(3)自律動作技術の開発ではバイラテラル制御に基づく模倣学習を活用し、実現している。今後は多様なタスクやロボットを活用して開発したシステムを評価していく予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
視覚・触覚等のマルチモーダルな情報に基づく直感的な遠隔操作技術の設計・実装、マルチモーダルな基盤モデルに基づく遠隔・自律融合制御、自律動作技術の開発は大きく前進した。しかしながら単純なタスクのみを扱っていたため、今後は多様なタスクやロボットを活用して開発したシステムを評価していく予定である。
|
| Strategy for Future Research Activity |
基盤となるロボットシステムはおおよそ完成したため、多様なタスクやロボットを活用して開発したシステムを評価していく予定である。特に現在は物拾う等の単純なタスクを実施しているため、より日常生活に近いタスクの実現を目指していく予定である。
|
