半透明／金属光沢物体のハンドリングと全品検査のための3.5D計測点群処理

• 研究課題/領域番号: 19H01096
• 研究種目: 基盤研究(A)
• 配分区分: 補助金
• 応募区分: 一般
• 審査区分: 中区分60:情報科学、情報工学およびその関連分野
• 研究機関: 東北大学
• 研究代表者: 橋本 浩一 東北大学, 情報科学研究科, 教授 (80228410)
• 研究期間 (年度): 2019-04-01 – 2024-03-31
• 研究課題ステータス: 完了 (2023年度)
• 配分額: 44,590千円 (直接経費: 34,300千円、間接経費: 10,290千円); 2023年度: 4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円); 2022年度: 7,280千円 (直接経費: 5,600千円、間接経費: 1,680千円); 2021年度: 11,570千円 (直接経費: 8,900千円、間接経費: 2,670千円); 2020年度: 10,400千円 (直接経費: 8,000千円、間接経費: 2,400千円); 2019年度: 10,790千円 (直接経費: 8,300千円、間接経費: 2,490千円)
• キーワード: 3次元計測 / マニピュレーション / プロジェクタ / 透明物体 / 光沢物体 / 全品検査 / 半透明／光沢物体 / 点群処理 / LT行列 / 3.5D計測 / ビジュアルサーボ / 計測システム / ロボットシステム / スパースセンシング / 反射特性

研究開始時の研究の概要

本研究では、食品、薬品、化粧品などの半透明または金属光沢を有する物体を対象とした、「3D形状プラスアルファ」の計測と点群処理を開発する（3.5D計測点群処理）。技術的課題はLight Transport Matrixのスパースセンシングならびにフィードバックプロジェクションによる表面形状と複雑な反射特性の推定である。研究の評価ポイントは、このような物体のハンドリングと全品検査を同時に実用的な時間で実行するロボットシステムの実現である。

研究成果の概要

本研究では、食品、薬品、化粧品などの半透明または金属光沢を有する物体を対象とした、「3D形状プラスアルファ」の計測と点群処理手法を開発した。LT行列（プロジェクタのすべての点からカメラのすべてのピクセルまでの反射特性行列）をスパースセンシングにより効率よく求め、照射パターンの縦横分解により並列処理アルゴリズムを開発し、GPUによる高速計算性能を確認した。さらに、半透明物体と金属光沢物体のハンドリングを実施した。レンズ、金属ネジ、金属ブロックのバラ積みピッキングを実施し、十分な性能を検証し、透明のプラスチック製品に関して表面キズや欠けの検出性能を確認した。

研究成果の学術的意義や社会的意義

半透明または金属光沢を有する物体に光をあてると、いくつかの反射や透過を繰り返し、物体表面だけではなく別な場所も輝度が高くなる。このように複雑な反射特性を持つため、表面形状を計測するためには高度な計算処理が必要となる。開発した照射パターン縦横分解は、パターンプロジェクションによる3次元計測に新たな科学的解釈を与えるとともに、並列処理の実装に適した計算アルゴリズムを与えた。さらに、GPU（グラフィクスプロセッシングユニット）実装による非常に高速な性能を達成した。ロボットによるハンドリングを実施することで精度検証を行い、プラスチック製品品質検査を実施して表面キズや欠けが検出可能であることを実証した。

研究成果

• [雑誌論文] Recognition of Human Relationships Using Interactions and Gazes through Video Analysis in Surveillance Footage (2023)
  • 著者名/発表者名: Matus Tanonwong, Naoya Chiba, Koichi Hashimoto
  • 雑誌名: 2023 IEEE International Conference on Robotics and Biomimetics (ROBIO) 巻: - ページ: 1-7
  • DOI: 10.1109/robio58561.2023.10354720
  • 査読あり / オープンアクセス
• [雑誌論文] Multi-Objective Deep Reinforcement Learning for Crowd Route Guidance Optimization (2023)
  • 著者名/発表者名: Ryo Nishida, Yuki Tanigaki, Koichi Hashimoto
  • 雑誌名: Transportation Research Record 巻: - 号: 5 ページ: 1-17
  • DOI: 10.1177/03611981231190635
  • 査読あり / オープンアクセス
• [雑誌論文] Homography Estimation Using Marker Projection Control: A Case of Calibration-Free Projection Mapping (2023)
  • 著者名/発表者名: Shingo Kagami and Koichi Hashimoto
  • 雑誌名: Proc. 22nd World Congress of the International Federation of Automatic Control (IFAC2023) 巻: - 号: 2 ページ: 2951-2956
  • DOI: 10.1016/j.ifacol.2023.10.1418
  • 査読あり / オープンアクセス
• [雑誌論文] Comparative Study of Hybridization and Parameter Tuning Improvement Methods for EAs in WFLOP (2023)
  • 著者名/発表者名: Ziqing Ye, Haichuan Yang, Naoya Chiba, Koichi Hashimoto
  • 雑誌名: CIIS 2023: 2023 the 6th International Conference on Computational Intelligence and Intelligent Systems 巻: - ページ: 59-65
  • DOI: 10.1145/3638209.3638219
  • 査読あり / オープンアクセス
• [雑誌論文] Evaluation of Perceptual Difference in Dynamic Projection Mapping with and without Movement of the Target Surface (2022)
  • 著者名/発表者名: Shunya Fukuda, Shingo Kagami, Koichi Hashimoto
  • 雑誌名: Journal of Robotics and Mechatronics 巻: 34 号: 5 ページ: 1141-1151
  • DOI: 10.20965/jrm.2022.p1141
  • ISSN: 0915-3942, 1883-8049
  • 年月日: 2022-10-20
  • 査読あり / オープンアクセス
• [雑誌論文] Simulation Analysis on Benefits of Introducing Meeting Points Into On-Demand Shared Mobility Services. (2022)
  • 著者名/発表者名: Ryo Nishida, Ryo Kanamori, Masaki Onishi, Itsuki Noda, Koichi Hashimoto
  • 雑誌名: IEEE Access 巻: 10 ページ: 124114-124129
  • DOI: 10.1109/access.2022.3224728
  • 査読あり / オープンアクセス
• [雑誌論文] Sample-Efficient Multimodal Dynamics Modeling for Risk-Sensitive Reinforcement Learning (2022)
  • 著者名/発表者名: Yashima Ryota、Yamaguchi Akihiko、Hashimoto Koichi
  • 雑誌名: 2022 8th International Conference on Mechatronics and Robotics Engineering (ICMRE) 巻: - ページ: 21-27
  • DOI: 10.1109/icmre54455.2022.9734091
  • 査読あり
• [雑誌論文] Vision-Based Finger Tapping Detection Without Fingertip Observation (2021)
  • 著者名/発表者名: Narita Shotaro、Graduate School of Information Sciences, Tohoku University 6-6-01 Aramaki Aza Aoba, Aoba-ku, Sendai 980-8579, Japan、Kagami Shingo、Hashimoto Koichi
  • 雑誌名: Journal of Robotics and Mechatronics 巻: 33 号: 3 ページ: 484-493
  • DOI: 10.20965/jrm.2021.p0484
  • NAID: 130008054361
  • ISSN: 0915-3942, 1883-8049
  • 年月日: 2021-06-20
  • 査読あり / オープンアクセス
• [雑誌論文] MetamorHockey: A Projection-based Virtual Air Hockey Platform Featuring Transformable Mallet Shapes (2021)
  • 著者名/発表者名: Ueda Shun、Kagami Shingo、Hashimoto Koichi
  • 雑誌名: Special Interest Group on Computer Graphics and Interactive Techniques Conference Emerging Technologies, SIGGRAPH 2021 巻: - ページ: 1-4
  • DOI: 10.1145/3450550.3465341
  • 査読あり / オープンアクセス
• [雑誌論文] Vibration Control for Pivoting by Robot Hand Equipped with CAVS and FingerVision (2021)
  • 著者名/発表者名: Suzuki Yoshiyuki、Yamaguchi Akihiko、Nojiri Seita、Watanabe Tetsuyou、Hashimoto Koichi
  • 雑誌名: Proceedings - 2021 5th IEEE International Conference on Robotic Computing, IRC 2021 巻: - ページ: 18-26
  • DOI: 10.1109/irc52146.2021.00010
  • 査読あり
• [雑誌論文] LTMスパース推定による三次元計測の白飛び対応とばら積みピッキングロボットへの応用 (2020)
  • 著者名/発表者名: 千葉直也，橋本浩一
  • 雑誌名: 精密工学会誌 巻: 86 号: 1 ページ: 106-112
  • DOI: 10.2493/jjspe.86.106
  • NAID: 130007782510
  • ISSN: 0912-0289, 1882-675X
  • 年月日: 2020-01-05
  • 査読あり
• [雑誌論文] Fast Prediction of a Worker’s Reaching Motion Without a Skeleton Model (F-PREMO) (2020)
  • 著者名/発表者名: Arai Shogo、Pettersson Andreas Lennart、Hashimoto Koichi
  • 雑誌名: IEEE Access 巻: 8 ページ: 90340-90350
  • DOI: 10.1109/access.2020.2992068
  • 査読あり / オープンアクセス
• [雑誌論文] FAst Detection Algorithm for 3D Keypoints (FADA-3K) (2020)
  • 著者名/発表者名: Arai Shogo、Fukuchi Nobuaki、Hashimoto Koichi
  • 雑誌名: IEEE Access 巻: 8 ページ: 189556-189564
  • DOI: 10.1109/access.2020.3025534
  • 査読あり / オープンアクセス
• [雑誌論文] Interactive Stickies: Low-latency projection mapping for dynamic interaction with projected images on a movable surface (2020)
  • 著者名/発表者名: Kagami Shingo、Hashimoto Koichi
  • 雑誌名: ACM SIGGRAPH 2020 Emerging Technologies, SIGGRAPH 2020 巻: - ページ: 1-2
  • DOI: 10.1145/3388534.3407291
  • 査読あり
• [雑誌論文] Perception of Motion-Adaptive Color Images Displayed by a High-Speed DMD Projector (2019)
  • 著者名/発表者名: Oshiro Wakana、Kagami Shingo、Hashimoto Koichi
  • 雑誌名: Proc. 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (IEEE VR 2019 Workshop on Perception-driven Graphics and Displays) 巻: - ページ: 1790-1793
  • DOI: 10.1109/vr.2019.8797850
  • 査読あり
• [雑誌論文] Puppeteered rain (2019)
  • 著者名/発表者名: Kagami Shingo、Higuchi Kotone、Hashimoto Koichi
  • 雑誌名: Proc. ACM SIGGRAPH Conference on Computer Graphics and Interactive Techniques (SIGGARPH 2019 Posters) 巻: - ページ: 48-48
  • DOI: 10.1145/3306214.3338603
  • 査読あり
• [雑誌論文] Discriminative Recognition of Point Cloud Gesture Classes through One-Shot Learning (2019)
  • 著者名/発表者名: Joshua Owoyemi, Naoya Chiba, Koichi Hashimoto
  • 雑誌名: Proceedings of the 2019 IEEE International Conference on Robotics and Biomimetics 巻: 2019 ページ: 2304-2309
  • DOI: 10.1109/robio49542.2019.8961778
  • 査読あり
• [雑誌論文] Bin-picking of Randomly Piled Shiny Industrial Objects Using Light Transport Matrix Estimation* (2019)
  • 著者名/発表者名: Naoya Chiba, Mingyu Li, Akira Imakura, Koichi Hashimoto
  • 雑誌名: Proceedings of the 2019 IEEE International Conference on Robotics and Biomimetics 巻: 2019 ページ: 7-13
  • DOI: 10.1109/robio49542.2019.8961622
  • 査読あり
• [雑誌論文] Animated Stickies: Fast Video Projection Mapping onto a Markerless Plane through a Direct Closed-Loop Alignment (2019)
  • 著者名/発表者名: Kagami Shingo、Hashimoto Koichi
  • 雑誌名: IEEE Transactions on Visualization and Computer Graphics 巻: 25 号: 11 ページ: 3094-3104
  • DOI: 10.1109/tvcg.2019.2932248
  • 査読あり
• [雑誌論文] Fast ADMM L1 minimization by applying SMW formula and multi-row simultaneous estimation for Light Transport Matrix acquisition* (2019)
  • 著者名/発表者名: Naoya Chiba, Akira Imakura, Koichi Hashimoto
  • 雑誌名: Proceedings of the 2019 IEEE International Conference on Robotics and Biomimetics 巻: 2019 ページ: 14-21
  • DOI: 10.1109/robio49542.2019.8961736
  • 査読あり
• [学会発表] 群集誘導戦略最適化に向けた多目的深層強化学習に関する研究 (2022)
  • 著者名/発表者名: 西田遼、谷垣勇輝、大西正輝、橋本浩一
  • 学会等名: 2022年度人工知能学会全国大会
• [産業財産権] 3次元形状計測方法及び3次元形状計測装置 (2021)
  • 発明者名: 伊東秀謹、鏡慎吾、橋本浩一、鈴木大地、十都善行、稲垣義弘
  • 権利者名: 国立大学法人東北大学、コニカミノルタ株式会社
  • 産業財産権種類: 特許
  • 公開番号: 2023-083632
  • 出願年月日: 2021
  • 取得年月日: 2023