2022 Fiscal Year Annual Research Report
3.5D measurements and point cloud processing for handling and inspection of transparent and shiny objects
| Project/Area Number |
19H01096
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
橋本 浩一 東北大学, 情報科学研究科, 教授 (80228410)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | 3次元計測 / マニピュレーション / 透明物体 / 光沢物体 / プロジェクタ |
|---|
| Outline of Annual Research Achievements |
本研究では、食品、薬品、化粧品などの半透明または金属光沢を有する物体を対象とした、「3D形状プラスアルファ」の計測と点群処理を開発する。本研究ではこれを「3.5D計測点群処理」とよぶ。Light Transport Matrix（LT行列：プロジェクタのすべての点からカメラのすべてのピクセルまでの反射特性行列）をスパースセンシングにより効率よく求める手法を開発する。LT行列の要素数はプロジェクタのピクセル数とカメラのピクセル数の積である。LT行列のひとつの列は、プロジェクタのひとつのピクセルのみを光らせたときにカメラの各ピクセルが観測する輝度を表す。つや消しがなされた物体に光をあてると、部分的に明るくなる。つまり輝度はローカルに高くなる。一方で、半透明または金属光沢を有する物体に光をあてると、いくつかの反射や透過を繰り返し、物体表面だけではなく別な場所も輝度が高くなる。
このような対象は複雑な反射特性を持つため、表面形状を計測するためには高度な処理が必要となる。また、一点照射ではプロジェクタピクセル数と同じ回数の照射を繰り返さなければならないため、計測に時間がかかる。したがって、照射パターンを効率的に制御する必要がある。これを効率化することが重要な課題である。
さらに、本研究では、このような物体のハンドリングをめざす。ロボットが持ち上げたり組み立てたりできる程度の精度を実現することが必要である。また、全品検査においては検査スペックをみたす3次元精度を実現する必要があるとともに、実用的な時間で実行しなければならない。
2022年度の実績は、照射パターンを縦横に分解することで並列処理を容易にする方法の考案とGPU（グラフィクス演算に特化した並列計算プロセッサ）による実装を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
LT行列にもとづく手法のいちばん大きな課題は計算時間であり、2022年度に開発した手法により現実的な実行速度を得ることができた。一方でハンドリングおよび製品検査に必要な精度はタスク依存であるため、さらなる検証が必要である。
|
| Strategy for Future Research Activity |
具体的なタスクを複数設定し、ロボットを動作させて作業の検証を実施する。
|
