a pose estimation method for in-hand items by using visual-tactile sensor

2018 Fiscal Year Annual Research Report

• Project/Area Number: 18H06489
• Allocation Type: Single-year Grants
• Research Institution: National Institute of Advanced Industrial Science and Technology
• Principal Investigator: 堂前 幸康 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究グループ長 (50825578)
• Project Period (FY): 2018-08-24 – 2020-03-31
• Keywords: 視触覚センサ / in-hand / 状態推定 / ロボットビジョン / マニピュレーション

Outline of Annual Research Achievements

近年の機械学習技術の発達とロボットへの応用展開事例の増加に伴い、ロボット作業中の情報をいかに取得するかが重要な課題となってきている。本研究では、視触覚情報を取得できるセンサ系をロボットハンド上に構築する。ロボットハンドが物体を把持中の状態（ここではin-handと呼ぶ）中に、物体の姿勢情報を推定することで、止まることのないスムーズなロボット作業の実現を目指す。
2018年度は、予算採択が決定した下期後半より本研究を開始し、視触覚センサの実験系の構築と、姿勢推定に適したアルゴリズムの調査を進めた。実験系としては、３Dプリンタにより印刷したジグと、ビジョンセンサ、透明ゲルを組み合わせ、ロボットハンドの指先に搭載可能な接触型の視覚センサを試作した。これを開閉型の２指のロボットハンドに搭載し、ロボットハンドが物体を把持した際に、物体の接触表面の形状画像が取得できる環境を構築した。次に、姿勢推定に適した認識アルゴリズムの調査を進めた。Convolutional Neural Network (CNN)により形状画像から距離画像を推定する手法、物体の３次元モデルと物体の形状データを照合する３次元点群照合手法、物体の形状情報から物体に外接するプリミティブ形状を推定する手法に辺りをつけ、実装と評価を進めることとした。
2019年度は、試作した視触覚センサの実験系を利用して、複数の日用品の把持中の状態データを取得するとともに、CNNに基づく状態推定、３次元情報に基づく姿勢推定を実現し、商品形状に対する汎用性の評価を進める。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

予算にて購入した透明ゲルを利用して、実験系の構築が実現した。また認識アルゴリズムの調査が完了した。

Strategy for Future Research Activity

構築した実験系を使い、複数の日用品における把持中の物体情報を取得し、姿勢推定手法を適用するとともに、その姿勢再現性と、多様な商品形状に対する汎化性を評価する。