3.5D measurements and point cloud processing for handling and inspection of transparent and shiny objects

• Project/Area Number: 19H01096
• Research Category: Grant-in-Aid for Scientific Research (A)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Medium-sized Section 60:Information science, computer engineering, and related fields
• Research Institution: Tohoku University
• Principal Investigator: 橋本 浩一 東北大学, 情報科学研究科, 教授 (80228410)
• Project Period (FY): 2019-04-01 – 2024-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥44,590,000 (Direct Cost: ¥34,300,000、Indirect Cost: ¥10,290,000); Fiscal Year 2023: ¥4,550,000 (Direct Cost: ¥3,500,000、Indirect Cost: ¥1,050,000); Fiscal Year 2022: ¥7,280,000 (Direct Cost: ¥5,600,000、Indirect Cost: ¥1,680,000); Fiscal Year 2021: ¥11,570,000 (Direct Cost: ¥8,900,000、Indirect Cost: ¥2,670,000); Fiscal Year 2020: ¥10,400,000 (Direct Cost: ¥8,000,000、Indirect Cost: ¥2,400,000); Fiscal Year 2019: ¥10,790,000 (Direct Cost: ¥8,300,000、Indirect Cost: ¥2,490,000)
• Keywords: 半透明／光沢物体 / 点群処理 / LT行列 / 3.5D計測 / ビジュアルサーボ / 計測システム / ロボットシステム / スパースセンシング / 反射特性 / マニピュレーション / 3次元計測 / 透明物体 / 光沢物体 / プロジェクタ

Outline of Research at the Start

本研究では、食品、薬品、化粧品などの半透明または金属光沢を有する物体を対象とした、「3D形状プラスアルファ」の計測と点群処理を開発する（3.5D計測点群処理）。技術的課題はLight Transport Matrixのスパースセンシングならびにフィードバックプロジェクションによる表面形状と複雑な反射特性の推定である。研究の評価ポイントは、このような物体のハンドリングと全品検査を同時に実用的な時間で実行するロボットシステムの実現である。

Outline of Annual Research Achievements

本研究では、食品、薬品、化粧品などの半透明または金属光沢を有する物体を対象とした、「3D形状プラスアルファ」の計測と点群処理を開発する。本研究ではこれを「3.5D計測点群処理」とよぶ。Light Transport Matrix（LT行列）のスパースセンシングを基盤技術とする。LT行列の要素数はプロジェクタのピクセル数とカメラのピクセル数の積である。LT行列のひとつの列は、プロジェクタのひとつのピクセルのみを光らせたときにカメラの各ピクセルが観測する輝度を表す。つや消しがなされた物体に光をあてると、部分的に明るくなる。つまり輝度はローカルに高くなる。一方で、半透明または金属光沢を有する物体に光をあてると、いくつかの反射や透過を繰り返し、物体表面だけではなく別な場所も輝度が高くなる。
このような対象は複雑な反射特性を持つため、表面形状を計測するためには高度な処理が必要となる。また、一点照射ではプロジェクタピクセル数の照射回数を繰り返さなければならないため、計測に時間を要する。したがって、照射パターンを効率的に制御する必要がある。
本研究では、このような物体のハンドリングと全品検査を同時に実用的な時間で実行するロボットシステムを実現する。
2019年度の実績は、半透明物体や金属光沢物体の表面形状計測である。LTM行列とエピポーラ線の関係から、直接反射光ではない成分を除去することにより、良好な表面形状の取得が可能であることを示した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

表面形状3次元計測に取り組み、半透明／金属光沢部品の計測に成功し、スパースセンシングアルゴリズムの高速化を実現した。

Strategy for Future Research Activity

さらなる高速化に取り組み、全品検査に応用可能な計算速度を実現する。

Research Products

• [Journal Article] Sample-Efficient Multimodal Dynamics Modeling for Risk-Sensitive Reinforcement Learning (2022)
  • Author(s): Yashima Ryota、Yamaguchi Akihiko、Hashimoto Koichi
  • Journal Title: 2022 8th International Conference on Mechatronics and Robotics Engineering (ICMRE) Volume: - Pages: 21-27
  • DOI: 10.1109/icmre54455.2022.9734091
  • Peer Reviewed
• [Journal Article] Vision-Based Finger Tapping Detection Without Fingertip Observation (2021)
  • Author(s): Narita Shotaro、Graduate School of Information Sciences, Tohoku University 6-6-01 Aramaki Aza Aoba, Aoba-ku, Sendai 980-8579, Japan、Kagami Shingo、Hashimoto Koichi
  • Journal Title: Journal of Robotics and Mechatronics Volume: 33 Issue: 3 Pages: 484-493
  • DOI: 10.20965/jrm.2021.p0484
  • NAID: 130008054361
  • ISSN: 0915-3942, 1883-8049
  • Year and Date: 2021-06-20
  • Peer Reviewed / Open Access
• [Journal Article] MetamorHockey: A Projection-based Virtual Air Hockey Platform Featuring Transformable Mallet Shapes (2021)
  • Author(s): Ueda Shun、Kagami Shingo、Hashimoto Koichi
  • Journal Title: Special Interest Group on Computer Graphics and Interactive Techniques Conference Emerging Technologies, SIGGRAPH 2021 Volume: - Pages: 1-4
  • DOI: 10.1145/3450550.3465341
  • Peer Reviewed / Open Access
• [Journal Article] Vibration Control for Pivoting by Robot Hand Equipped with CAVS and FingerVision (2021)
  • Author(s): Suzuki Yoshiyuki、Yamaguchi Akihiko、Nojiri Seita、Watanabe Tetsuyou、Hashimoto Koichi
  • Journal Title: Proceedings - 2021 5th IEEE International Conference on Robotic Computing, IRC 2021 Volume: - Pages: 18-26
  • DOI: 10.1109/irc52146.2021.00010
  • Peer Reviewed
• [Journal Article] Sparse Estimation under Saturated Condition for 3D Measurement and Its Application for Bin-Picking Robot (2020)
  • Author(s): 千葉直也，橋本浩一
  • Journal Title: Journal of the Japan Society for Precision Engineering Volume: 86 Issue: 1 Pages: 106-112
  • DOI: 10.2493/jjspe.86.106
  • NAID: 130007782510
  • ISSN: 0912-0289, 1882-675X
  • Year and Date: 2020-01-05
  • Peer Reviewed
• [Journal Article] Fast Prediction of a Worker’s Reaching Motion Without a Skeleton Model (F-PREMO) (2020)
  • Author(s): Arai Shogo、Pettersson Andreas Lennart、Hashimoto Koichi
  • Journal Title: IEEE Access Volume: 8 Pages: 90340-90350
  • DOI: 10.1109/access.2020.2992068
  • Peer Reviewed / Open Access
• [Journal Article] FAst Detection Algorithm for 3D Keypoints (FADA-3K) (2020)
  • Author(s): Arai Shogo、Fukuchi Nobuaki、Hashimoto Koichi
  • Journal Title: IEEE Access Volume: 8 Pages: 189556-189564
  • DOI: 10.1109/access.2020.3025534
  • Peer Reviewed / Open Access
• [Journal Article] Interactive Stickies: Low-latency projection mapping for dynamic interaction with projected images on a movable surface (2020)
  • Author(s): Kagami Shingo、Hashimoto Koichi
  • Journal Title: ACM SIGGRAPH 2020 Emerging Technologies, SIGGRAPH 2020 Volume: - Pages: 1-2
  • DOI: 10.1145/3388534.3407291
  • Peer Reviewed
• [Journal Article] Perception of Motion-Adaptive Color Images Displayed by a High-Speed DMD Projector (2019)
  • Author(s): Oshiro Wakana、Kagami Shingo、Hashimoto Koichi
  • Journal Title: Proc. 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR 2019 Workshop on Perception-driven Graphics and Displays) Volume: - Pages: 1790-1793
  • DOI: 10.1109/vr.2019.8797850
  • Peer Reviewed
• [Journal Article] Puppeteered rain (2019)
  • Author(s): Kagami Shingo、Higuchi Kotone、Hashimoto Koichi
  • Journal Title: Proc. ACM SIGGRAPH Conference on Computer Graphics and Interactive Techniques (SIGGARPH 2019 Posters) Volume: - Pages: 48-48
  • DOI: 10.1145/3306214.3338603
  • Peer Reviewed
• [Journal Article] Discriminative Recognition of Point Cloud Gesture Classes through One-Shot Learning (2019)
  • Author(s): Joshua Owoyemi, Naoya Chiba, Koichi Hashimoto
  • Journal Title: Proceedings of the 2019 IEEE International Conference on Robotics and Biomimetics Volume: 2019 Pages: 2304-2309
  • DOI: 10.1109/robio49542.2019.8961778
  • Peer Reviewed
• [Journal Article] Bin-picking of Randomly Piled Shiny Industrial Objects Using Light Transport Matrix Estimation* (2019)
  • Author(s): Naoya Chiba, Mingyu Li, Akira Imakura, Koichi Hashimoto
  • Journal Title: Proceedings of the 2019 IEEE International Conference on Robotics and Biomimetics Volume: 2019 Pages: 7-13
  • DOI: 10.1109/robio49542.2019.8961622
  • Peer Reviewed
• [Journal Article] Animated Stickies: Fast Video Projection Mapping onto a Markerless Plane through a Direct Closed-Loop Alignment (2019)
  • Author(s): Kagami Shingo、Hashimoto Koichi
  • Journal Title: IEEE Transactions on Visualization and Computer Graphics Volume: 25 Issue: 11 Pages: 3094-3104
  • DOI: 10.1109/tvcg.2019.2932248
  • Peer Reviewed
• [Journal Article] Fast ADMM L1 minimization by applying SMW formula and multi-row simultaneous estimation for Light Transport Matrix acquisition* (2019)
  • Author(s): Naoya Chiba, Akira Imakura, Koichi Hashimoto
  • Journal Title: Proceedings of the 2019 IEEE International Conference on Robotics and Biomimetics Volume: 2019 Pages: 14-21
  • DOI: 10.1109/robio49542.2019.8961736
  • Peer Reviewed