半透明／金属光沢物体のハンドリングと全品検査のための3.5D計測点群処理

• 研究課題/領域番号: 19H01096
• 研究種目: 基盤研究(A)
• 配分区分: 補助金
• 応募区分: 一般
• 審査区分: 中区分60:情報科学、情報工学およびその関連分野
• 研究機関: 東北大学
• 研究代表者: 橋本 浩一 東北大学, 情報科学研究科, 教授 (80228410)
• 研究期間 (年度): 2019-04-01 – 2024-03-31
• 研究課題ステータス: 交付 (2023年度)
• 配分額: 44,590千円 (直接経費: 34,300千円、間接経費: 10,290千円); 2023年度: 4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円); 2022年度: 7,280千円 (直接経費: 5,600千円、間接経費: 1,680千円); 2021年度: 11,570千円 (直接経費: 8,900千円、間接経費: 2,670千円); 2020年度: 10,400千円 (直接経費: 8,000千円、間接経費: 2,400千円); 2019年度: 10,790千円 (直接経費: 8,300千円、間接経費: 2,490千円)
• キーワード: 半透明／光沢物体 / 点群処理 / LT行列 / 3.5D計測 / ビジュアルサーボ / 計測システム / ロボットシステム / スパースセンシング / 反射特性 / マニピュレーション / 3次元計測 / 透明物体 / 光沢物体 / プロジェクタ

研究開始時の研究の概要

本研究では、食品、薬品、化粧品などの半透明または金属光沢を有する物体を対象とした、「3D形状プラスアルファ」の計測と点群処理を開発する（3.5D計測点群処理）。技術的課題はLight Transport Matrixのスパースセンシングならびにフィードバックプロジェクションによる表面形状と複雑な反射特性の推定である。研究の評価ポイントは、このような物体のハンドリングと全品検査を同時に実用的な時間で実行するロボットシステムの実現である。

研究実績の概要

本研究では、食品、薬品、化粧品などの半透明または金属光沢を有する物体を対象とした、「3D形状プラスアルファ」の計測と点群処理を開発する。本研究ではこれを「3.5D計測点群処理」とよぶ。Light Transport Matrix（LT行列）のスパースセンシングを基盤技術とする。LT行列の要素数はプロジェクタのピクセル数とカメラのピクセル数の積である。LT行列のひとつの列は、プロジェクタのひとつのピクセルのみを光らせたときにカメラの各ピクセルが観測する輝度を表す。つや消しがなされた物体に光をあてると、部分的に明るくなる。つまり輝度はローカルに高くなる。一方で、半透明または金属光沢を有する物体に光をあてると、いくつかの反射や透過を繰り返し、物体表面だけではなく別な場所も輝度が高くなる。
このような対象は複雑な反射特性を持つため、表面形状を計測するためには高度な処理が必要となる。また、一点照射ではプロジェクタピクセル数の照射回数を繰り返さなければならないため、計測に時間を要する。したがって、照射パターンを効率的に制御する必要がある。
本研究では、このような物体のハンドリングと全品検査を同時に実用的な時間で実行するロボットシステムを実現する。
2019年度の実績は、半透明物体や金属光沢物体の表面形状計測である。LTM行列とエピポーラ線の関係から、直接反射光ではない成分を除去することにより、良好な表面形状の取得が可能であることを示した。

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

表面形状3次元計測に取り組み、半透明／金属光沢部品の計測に成功し、スパースセンシングアルゴリズムの高速化を実現した。

今後の研究の推進方策

さらなる高速化に取り組み、全品検査に応用可能な計算速度を実現する。

研究成果

• [雑誌論文] Sample-Efficient Multimodal Dynamics Modeling for Risk-Sensitive Reinforcement Learning (2022)
  • 著者名/発表者名: Yashima Ryota、Yamaguchi Akihiko、Hashimoto Koichi
  • 雑誌名: 2022 8th International Conference on Mechatronics and Robotics Engineering (ICMRE) 巻: - ページ: 21-27
  • DOI: 10.1109/icmre54455.2022.9734091
  • 査読あり
• [雑誌論文] Vision-Based Finger Tapping Detection Without Fingertip Observation (2021)
  • 著者名/発表者名: Narita Shotaro、Graduate School of Information Sciences, Tohoku University 6-6-01 Aramaki Aza Aoba, Aoba-ku, Sendai 980-8579, Japan、Kagami Shingo、Hashimoto Koichi
  • 雑誌名: Journal of Robotics and Mechatronics 巻: 33 号: 3 ページ: 484-493
  • DOI: 10.20965/jrm.2021.p0484
  • NAID: 130008054361
  • ISSN: 0915-3942, 1883-8049
  • 年月日: 2021-06-20
  • 査読あり / オープンアクセス
• [雑誌論文] MetamorHockey: A Projection-based Virtual Air Hockey Platform Featuring Transformable Mallet Shapes (2021)
  • 著者名/発表者名: Ueda Shun、Kagami Shingo、Hashimoto Koichi
  • 雑誌名: Special Interest Group on Computer Graphics and Interactive Techniques Conference Emerging Technologies, SIGGRAPH 2021 巻: - ページ: 1-4
  • DOI: 10.1145/3450550.3465341
  • 査読あり / オープンアクセス
• [雑誌論文] Vibration Control for Pivoting by Robot Hand Equipped with CAVS and FingerVision (2021)
  • 著者名/発表者名: Suzuki Yoshiyuki、Yamaguchi Akihiko、Nojiri Seita、Watanabe Tetsuyou、Hashimoto Koichi
  • 雑誌名: Proceedings - 2021 5th IEEE International Conference on Robotic Computing, IRC 2021 巻: - ページ: 18-26
  • DOI: 10.1109/irc52146.2021.00010
  • 査読あり
• [雑誌論文] LTMスパース推定による三次元計測の白飛び対応とばら積みピッキングロボットへの応用 (2020)
  • 著者名/発表者名: 千葉直也，橋本浩一
  • 雑誌名: 精密工学会誌 巻: 86 号: 1 ページ: 106-112
  • DOI: 10.2493/jjspe.86.106
  • NAID: 130007782510
  • ISSN: 0912-0289, 1882-675X
  • 年月日: 2020-01-05
  • 査読あり
• [雑誌論文] Fast Prediction of a Worker’s Reaching Motion Without a Skeleton Model (F-PREMO) (2020)
  • 著者名/発表者名: Arai Shogo、Pettersson Andreas Lennart、Hashimoto Koichi
  • 雑誌名: IEEE Access 巻: 8 ページ: 90340-90350
  • DOI: 10.1109/access.2020.2992068
  • 査読あり / オープンアクセス
• [雑誌論文] FAst Detection Algorithm for 3D Keypoints (FADA-3K) (2020)
  • 著者名/発表者名: Arai Shogo、Fukuchi Nobuaki、Hashimoto Koichi
  • 雑誌名: IEEE Access 巻: 8 ページ: 189556-189564
  • DOI: 10.1109/access.2020.3025534
  • 査読あり / オープンアクセス
• [雑誌論文] Interactive Stickies: Low-latency projection mapping for dynamic interaction with projected images on a movable surface (2020)
  • 著者名/発表者名: Kagami Shingo、Hashimoto Koichi
  • 雑誌名: ACM SIGGRAPH 2020 Emerging Technologies, SIGGRAPH 2020 巻: - ページ: 1-2
  • DOI: 10.1145/3388534.3407291
  • 査読あり
• [雑誌論文] Perception of Motion-Adaptive Color Images Displayed by a High-Speed DMD Projector (2019)
  • 著者名/発表者名: Oshiro Wakana、Kagami Shingo、Hashimoto Koichi
  • 雑誌名: Proc. 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR 2019 Workshop on Perception-driven Graphics and Displays) 巻: - ページ: 1790-1793
  • DOI: 10.1109/vr.2019.8797850
  • 査読あり
• [雑誌論文] Puppeteered rain (2019)
  • 著者名/発表者名: Kagami Shingo、Higuchi Kotone、Hashimoto Koichi
  • 雑誌名: Proc. ACM SIGGRAPH Conference on Computer Graphics and Interactive Techniques (SIGGARPH 2019 Posters) 巻: - ページ: 48-48
  • DOI: 10.1145/3306214.3338603
  • 査読あり
• [雑誌論文] Discriminative Recognition of Point Cloud Gesture Classes through One-Shot Learning (2019)
  • 著者名/発表者名: Joshua Owoyemi, Naoya Chiba, Koichi Hashimoto
  • 雑誌名: Proceedings of the 2019 IEEE International Conference on Robotics and Biomimetics 巻: 2019 ページ: 2304-2309
  • DOI: 10.1109/robio49542.2019.8961778
  • 査読あり
• [雑誌論文] Bin-picking of Randomly Piled Shiny Industrial Objects Using Light Transport Matrix Estimation* (2019)
  • 著者名/発表者名: Naoya Chiba, Mingyu Li, Akira Imakura, Koichi Hashimoto
  • 雑誌名: Proceedings of the 2019 IEEE International Conference on Robotics and Biomimetics 巻: 2019 ページ: 7-13
  • DOI: 10.1109/robio49542.2019.8961622
  • 査読あり
• [雑誌論文] Animated Stickies: Fast Video Projection Mapping onto a Markerless Plane through a Direct Closed-Loop Alignment (2019)
  • 著者名/発表者名: Kagami Shingo、Hashimoto Koichi
  • 雑誌名: IEEE Transactions on Visualization and Computer Graphics 巻: 25 号: 11 ページ: 3094-3104
  • DOI: 10.1109/tvcg.2019.2932248
  • 査読あり
• [雑誌論文] Fast ADMM L1 minimization by applying SMW formula and multi-row simultaneous estimation for Light Transport Matrix acquisition* (2019)
  • 著者名/発表者名: Naoya Chiba, Akira Imakura, Koichi Hashimoto
  • 雑誌名: Proceedings of the 2019 IEEE International Conference on Robotics and Biomimetics 巻: 2019 ページ: 14-21
  • DOI: 10.1109/robio49542.2019.8961736
  • 査読あり