3.5D measurements and point cloud processing for handling and inspection of transparent and shiny objects

2023 Fiscal Year Final Research Report

• Project/Area Number: 19H01096
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 60:Information science, computer engineering, and related fields
• Research Institution: Tohoku University
• Principal Investigator: Hashimoto Koichi 東北大学, 情報科学研究科, 教授 (80228410)
• Project Period (FY): 2019-04-01 – 2024-03-31
• Keywords: 3次元計測 / マニピュレーション / プロジェクタ / 透明物体 / 光沢物体 / 全品検査

Outline of Final Research Achievements

In this study, we developed a "3D shape plus extra" measurement and point cloud processing method for translucent or metallic shiny objects such as food, medicine, cosmetics, etc. The LT matrix (reflection characteristic matrix from all points of the projector to all pixels of the camera) was efficiently obtained by sparse sensing. We also developed a parallel processing algorithm based on the vertical and horizontal decomposition of irradiation patterns, and confirmed the high-speed computing performance on GPUs. In addition, handling of translucent and metallic luster objects was conducted. Picking of lenses, metal screws, and metal blocks in bulk was conducted to verify sufficient performance, and the detection performance of surface flaws and chips was confirmed for transparent plastic products.

Free Research Field

ロボティクス

Academic Significance and Societal Importance of the Research Achievements

半透明または金属光沢を有する物体に光をあてると、いくつかの反射や透過を繰り返し、物体表面だけではなく別な場所も輝度が高くなる。このように複雑な反射特性を持つため、表面形状を計測するためには高度な計算処理が必要となる。開発した照射パターン縦横分解は、パターンプロジェクションによる3次元計測に新たな科学的解釈を与えるとともに、並列処理の実装に適した計算アルゴリズムを与えた。さらに、GPU（グラフィクスプロセッシングユニット）実装による非常に高速な性能を達成した。ロボットによるハンドリングを実施することで精度検証を行い、プラスチック製品品質検査を実施して表面キズや欠けが検出可能であることを実証した。