本課題では、深層学習を発展させ行動を導出するための認識技術を確立することを目指し、(1)言語と視覚を利用したナビゲーション技術、(2)環境やものの認識とロボット軌道の学習と(3)物体位置・姿勢認識技術とロボット物体操作への応用という3つのテーマを実施した。画像、俯瞰地図、3D画像などの視覚入力をニューラルネット通して得た認識結果に基づき、モーションプランニングや強化学習ポリシーによりアクションを生成した。加えて、視覚情報と言語情報を組み合わせてナビゲーションを行う技術を構築した。最終的には、深層学習に基づく物体位置・姿勢認識技術を実装したアーム型のロボットシステムで物体把持を実現できた。
|