in-hand's object states estimation by a visual-tactile sensor in a robotic gripper

2019 Fiscal Year Final Research Report

• Project/Area Number: 19K21552
• Project/Area Number (Other): 18H06489 (2018)
• Research Category: Grant-in-Aid for Research Activity Start-up
• Allocation Type: Multi-year Fund (2019); Single-year Grants (2018)
• Review Section: 1002:Human informatics, applied informatics and related fields
• Research Institution: National Institute of Advanced Industrial Science and Technology
• Principal Investigator: Domae Yukiyasu 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究グループ長 (50825578)
• Project Period (FY): 2018-08-24 – 2020-03-31
• Keywords: 視触覚 / in-hand / 姿勢推定 / 把持数推定

Outline of Final Research Achievements

We made a visual-tactile sensor and applied the sensor to a problem to classify states of grasping screws. We proposed an algorithm based on ResNet50 for classifying the states; the number and the poses of the grasping screws. The classification rate became 96.8% by using 200 images captured by the visual-tactile sensor. We realized in-hand's object state recognition which was hard to be realized by traditional tactile sensors.

Free Research Field

ロボティクス

Academic Significance and Societal Importance of the Research Achievements

視覚に基づく触覚センサは、現在のロボティクス研究のおけるトレンドである。本研究は、産業現場に実在するような扱いにくい対象物に対して、何本、どのような姿勢でつかんでいるかを推定するという難易度の高い問題を扱い、画像200枚規模のデータベースに対して、識別率96.8%という性能を示すことができた。学術的には従来難しいとされてきた把持中の物体姿勢と数を同時に認識できる事例を初めて示したことに価値がある。またその難しい問題は、産業応用を想定した実用的なものである。トレンドである視触覚センサが、ロボットの応用範囲を広げる可能性が高い技術であることを示した点は社会的に重要である。