2019 Fiscal Year Annual Research Report
半透明／金属光沢物体のハンドリングと全品検査のための3.5D計測点群処理
| Project/Area Number |
19H01096
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
橋本 浩一 東北大学, 情報科学研究科, 教授 (80228410)
|
|---|
| Project Period (FY) |
2019-04-01 – 2024-03-31
|
| Keywords | 3次元計測 / マニピュレーション / 透明物体 / 光沢物体 / プロジェクタ |
|---|
| Outline of Annual Research Achievements |
本研究では、食品、薬品、化粧品などの半透明または金属光沢を有する物体を対象とした、「3D形状プラスアルファ」の計測と点群処理を開発する。本研究ではこれを「3.5D計測点群処理」とよぶ。Light Transport Matrix（LT行列）のスパースセンシングを基盤技術とする。LT行列の要素数はプロジェクタのピクセル数とカメラのピクセル数の積である。LT行列のひとつの列は、プロジェクタのひとつのピクセルのみを光らせたときにカメラの各ピクセルが観測する輝度を表す。つや消しがなされた物体に光をあてると、部分的に明るくなる。つまり輝度はローカルに高くなる。一方で、半透明または金属光沢を有する物体に光をあてると、いくつかの反射や透過を繰り返し、物体表面だけではなく別な場所も輝度が高くなる。
このような対象は複雑な反射特性を持つため、表面形状を計測するためには高度な処理が必要となる。また、一点照射ではプロジェクタピクセル数の照射回数を繰り返さなければならないため、計測に時間を要する。したがって、照射パターンを効率的に制御する必要がある。
本研究では、このような物体のハンドリングと全品検査を同時に実用的な時間で実行するロボットシステムを実現する。
2019年度の実績は、半透明物体や金属光沢物体の表面形状計測である。LTM行列とエピポーラ線の関係から、直接反射光ではない成分を除去することにより、良好な表面形状の取得が可能であることを示した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
LT行列にもとづいて、半透明物体や金属光沢物体の表面形状は測定できており、高速化および形状精度の検証が課題である。
|
| Strategy for Future Research Activity |
LT行列の推定：プロジェクタ・カメラシステムを用いた3D 形状計測をアクティブステレオと呼ぶ。アクティブステレオでは、プロジェクタからいくつかのパタン光を照射し、反射光をカメラで計測することで計測対象表面の3D 形状を得る。
フィードバックプロジェクション：本研究では、フィードバックプロジェクション計測の枠組みにより、位置姿勢推定に必要なLT 行列の変化分のみの計測を高速に行う。
スパースセンシング：LT 行列が少ない照射・撮影回数での計測で推定ができるのは、LT 行列がスパース性を持つことによる。このスパース性を利用した推定手法は、スパース推定／圧縮センシングとして整理されつつあり、近年幅広い分野への応用が進められている。本研究では、事前計算されたデータセットに対して機械学習を適用し、反射特性の推定を行う。
物体ハンドリング：3.5D 計測のメリットとして、位置姿勢だけではなく実際の物体の物体の形状と光学特性を取得できる。すなわち、光沢及び半透明物体に対応した3D 形状計測のために導入したLT行列の推定は、位置姿勢推定のみではなく形状・光学特性の推定にも利用できる。この形状s と光学特性f を事前に入力した参照データと比較することで、形状の違い（例えば欠損、ひび割れ、剥離など）と光学特性の違い（例えば透明度、光沢、汚れなど）を認識する手法を開発する。
|
