• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

ダイナミックプロジェクション計測による何でもみえるロボットビジョン

Research Project

Project/Area Number 18J20111
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Research Field Intelligent mechanics/Mechanical systems
Research InstitutionTohoku University

Principal Investigator

千葉 直也  東北大学, 情報科学研究科, 特別研究員(DC1)

Project Period (FY) 2018-04-25 – 2021-03-31
Project Status Declined (Fiscal Year 2020)
Budget Amount *help
¥2,200,000 (Direct Cost: ¥2,200,000)
Fiscal Year 2020: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2019: ¥700,000 (Direct Cost: ¥700,000)
Fiscal Year 2018: ¥800,000 (Direct Cost: ¥800,000)
KeywordsLight Transport Matrix / 点群深層学習 / ばら積みピッキング / 輝度伝達行列 / 三次元計測
Outline of Annual Research Achievements

本研究の目的は,対称物体の反射特性によらずに物体をハンドリングするための三次元センシング手法の構築である.前提としてLight Transport Matrix (LMT) 推定による三次元形状計測手法を用いる.これはプロジェクタ・カメラを用いる三次元計測法であり,金属物体や半透明物体を精度よく計測できるという特性を持つ.一方,高解像度な計測を行う場合には計算コストが大きいという欠点を持つ.したがって,物体の位置姿勢推定に必要な情報だけを計測することで,「ばら積みピッキング」のような具体的なアプリケーションとしてみたときに高速化できるという着想を得た.
LTMの推定にはL1ノルム最小化によるスパース推定を用いる.このときLTMが線形でない場合に推定に失敗することが確認できている.実際の観測では白飛び・黒つぶれが生じるため,これらに対応するため,Alternation Direction Method of Multipliers (ADMM)を用いたL1最小化法の観測モデルに修正を加えた,白飛び・黒つぶれ同時対応L1最小化を提案・検証し,実際にLTM推定の性能が向上していることを示した.
LTM推定は低解像度では高速に計算できることに着目し,低解像度なLTMから得られる低密度な点群から物体の位置姿勢推定を行う手法の実現に向けて取り組んだ.既存の物体認識・位置姿勢推定手法と比較して低密度な点群を入力として用いる場合が多いため,点群深層学習によるアプローチでの物体認識・位置姿勢推定手法についての研究を進めた.さらに物体認識・位置姿勢推定手法とLTM推定による三次元計測法,さらに昨年度実装したロボットシステムを用いて実際にばら積みピッキングを実現した.計測・位置姿勢推定を合わせて20秒程度で金属物体の認識・位置姿勢推定を行った.

Research Progress Status

翌年度、交付申請を辞退するため、記入しない。

Strategy for Future Research Activity

翌年度、交付申請を辞退するため、記入しない。

Report

(2 results)
  • 2019 Annual Research Report
  • 2018 Annual Research Report
  • Research Products

    (29 results)

All 2020 2019 2018 Other

All Journal Article (10 results) (of which Peer Reviewed: 6 results) Presentation (18 results) (of which Int'l Joint Research: 6 results,  Invited: 3 results) Remarks (1 results)

  • [Journal Article] Sparse Estimation under Saturated Condition for 3D Measurement and Its Application for Bin-Picking Robot2020

    • Author(s)
      千葉直也,橋本浩一
    • Journal Title

      Journal of the Japan Society for Precision Engineering

      Volume: 86 Issue: 1 Pages: 106-112

    • DOI

      10.2493/jjspe.86.106

    • NAID

      130007782510

    • ISSN
      0912-0289, 1882-675X
    • Year and Date
      2020-01-05
    • Related Report
      2019 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 3D Measurement Based on Row-wise LT Matrix Estimation2019

    • Author(s)
      千葉直也,橋本浩一
    • Journal Title

      Transactions of the Society of Instrument and Control Engineers

      Volume: 55 Issue: 4 Pages: 294-304

    • DOI

      10.9746/sicetr.55.294

    • NAID

      130007633078

    • ISSN
      0453-4654, 1883-8189
    • Related Report
      2019 Annual Research Report 2018 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Point cloud deep learning for multiple object pose estimation2019

    • Author(s)
      戸田幸宏,千葉直也,橋本浩一
    • Journal Title

      The Proceedings of JSME annual Conference on Robotics and Mechatronics (Robomec)

      Volume: 2019 Issue: 0 Pages: 2P2-H06

    • DOI

      10.1299/jsmermd.2019.2P2-H06

    • NAID

      130007775305

    • ISSN
      2424-3124
    • Related Report
      2019 Annual Research Report
  • [Journal Article] Development of Simulator for Object Pose Estimation by Using of Pointcloud Deep Learning2019

    • Author(s)
      千葉直也,戸田幸宏,橋本浩一
    • Journal Title

      The Proceedings of JSME annual Conference on Robotics and Mechatronics (Robomec)

      Volume: 2019 Issue: 0 Pages: 2P1-I03

    • DOI

      10.1299/jsmermd.2019.2P1-I03

    • NAID

      130007775096

    • ISSN
      2424-3124
    • Related Report
      2019 Annual Research Report
  • [Journal Article] Bin-picking of Randomly Piled Shiny Industrial Objects Using Light Transport Matrix Estimation*2019

    • Author(s)
      Naoya Chiba, Mingyu Li, Akira Imakura, Koichi Hashimoto
    • Journal Title

      Proceedings of the 2019 IEEE International Conference on Robotics and Biomimetics

      Volume: 2019 Pages: 7-13

    • DOI

      10.1109/robio49542.2019.8961622

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Fast ADMM L1 minimization by applying SMW formula and multi-row simultaneous estimation for Light Transport Matrix acquisition*2019

    • Author(s)
      Naoya Chiba, Akira Imakura, Koichi Hashimoto
    • Journal Title

      Proceedings of the 2019 IEEE International Conference on Robotics and Biomimetics

      Volume: 2019 Pages: 14-21

    • DOI

      10.1109/robio49542.2019.8961736

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Discriminative Recognition of Point Cloud Gesture Classes through One-Shot Learning2019

    • Author(s)
      Joshua Owoyemi, Naoya Chiba, Koichi Hashimoto
    • Journal Title

      Proceedings of the 2019 IEEE International Conference on Robotics and Biomimetics

      Volume: 2019 Pages: 2304-2309

    • DOI

      10.1109/robio49542.2019.8961778

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Light Transport Matrix (LTM) 推定による三次元計測法とその高速化手法2019

    • Author(s)
      千葉直也,橋本浩一
    • Journal Title

      画像ラボ

      Volume: 30 Pages: 6-11

    • Related Report
      2019 Annual Research Report
  • [Journal Article] Light Transport Matrixのスパース推定を用いた三次元計測・材質推定:金属物体・半透明物体に対応した三次元計測法と材質推定応用2019

    • Author(s)
      千葉直也,橋本浩一
    • Journal Title

      検査技術

      Volume: 24 Pages: 14-19

    • NAID

      40022027925

    • Related Report
      2019 Annual Research Report
  • [Journal Article] Object Detection in Bin Scene without CAD Model2018

    • Author(s)
      福地 伸晃,千葉直也,橋本浩一
    • Journal Title

      Journal of the Robotics Society of Japan

      Volume: 36 Issue: 5 Pages: 368-375

    • DOI

      10.7210/jrsj.36.368

    • NAID

      130007404856

    • ISSN
      0289-1824, 1884-7145
    • Related Report
      2018 Annual Research Report
    • Peer Reviewed
  • [Presentation] 点群深層学習による複数物体の位置姿勢推定2019

    • Author(s)
      戸田幸宏,千葉直也,橋本浩一
    • Organizer
      ロボティクス・メカトロニクス講演会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 点群深層学習による位置姿勢推定のためのシミュレータの開発2019

    • Author(s)
      千葉直也,戸田幸宏,橋本浩一
    • Organizer
      ロボティクス・メカトロニクス講演会
    • Related Report
      2019 Annual Research Report
  • [Presentation] LTM計測のための白飛びと黒つぶれに対応したスパース推定2019

    • Author(s)
      千葉直也,橋本浩一
    • Organizer
      画像の認識・理解シンポジウム
    • Related Report
      2019 Annual Research Report
  • [Presentation] Light Transport Matrix (LTM) スパース推定による三次元計測2019

    • Author(s)
      千葉直也,橋本浩一
    • Organizer
      SICE SI部門 マニピュレーション講演会
    • Related Report
      2019 Annual Research Report
    • Invited
  • [Presentation] Sparse Estimation of Light Transport Matrix under Saturated Condition2019

    • Author(s)
      千葉直也,橋本浩一
    • Organizer
      画像の認識・理解シンポジウム
    • Related Report
      2019 Annual Research Report
    • Invited
  • [Presentation] Bin-picking of Randomly Piled Shiny Industrial Objects Using Light Transport Matrix Estimation2019

    • Author(s)
      Naoya Chiba, Mingyu Li, Akira Imakura, Koichi Hashimoto
    • Organizer
      The IEEE International Conference on Robotics and Biomimetics
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Fast ADMM L1 minimization by applying SMW formula and multi-row simultaneous estimation for Light Transport Matrix acquisition2019

    • Author(s)
      Naoya Chiba, Akira Imakura, Koichi Hashimoto
    • Organizer
      The IEEE International Conference on Robotics and Biomimetics
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Discriminative Recognition of Point Cloud Gesture Classes through One-Shot Learning2019

    • Author(s)
      Joshua Owoyemi, Naoya Chiba, Koichi Hashimoto
    • Organizer
      The IEEE International Conference on Robotics and Biomimetics
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 点群深層学習の研究動向2019

    • Author(s)
      千葉直也
    • Organizer
      画像センシングシンポジウム
    • Related Report
      2019 Annual Research Report
    • Invited
  • [Presentation] SMW公式を用いたADMM-L1最小化問題の高速解法2019

    • Author(s)
      千葉直也,今倉暁,橋本浩一
    • Organizer
      電子情報通信学会パターン認識・メディア理解(PRMU) 研究会 (2019-02-PRMU-CNR)
    • Related Report
      2018 Annual Research Report
  • [Presentation] 点群深層学習を用いた3次元物体の位置・姿勢推定2019

    • Author(s)
      戸田幸宏,千葉直也,橋本浩一
    • Organizer
      電子情報通信学会パターン認識・メディア理解(PRMU) 研究会 (2019-02-PRMU-CNR)
    • Related Report
      2018 Annual Research Report
  • [Presentation] Ultra-Fast Multi-Scale Shape Estimation of Light Transport Matrix for Complex Light Reflection Objects2018

    • Author(s)
      Naoya Chiba, Koichi Hashimoto
    • Organizer
      The 2018 IEEE International Conference on Robotics and Automation (ICRA2018)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] LTM (Light Transport Matrix) estimation method under saturated condition by using Saturation ADMM2018

    • Author(s)
      Naoya Chiba, Koichi Hashimoto
    • Organizer
      The 5th Case Western Reserve University - Tohoku University Joint Workshop
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Sparse Estimation of Light Transport Matrix under Saturated Condition2018

    • Author(s)
      Naoya Chiba, Koichi Hashimoto
    • Organizer
      The 29th British Machine Vision Conference (BMVC2018)
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research
  • [Presentation] サチュレーションとガンマ補正を考慮したプロジェクタ・カメラシステムの光学キャリブレーションツールの開発2018

    • Author(s)
      千葉直也,橋本浩一
    • Organizer
      ロボティクス・メカトロニクス講演会 2018 (ROBOMECH2018)
    • Related Report
      2018 Annual Research Report
  • [Presentation] 多段解像度LT行列推定を用いた三次元計測法2018

    • Author(s)
      千葉直也,橋本浩一
    • Organizer
      第24回 画像センシングシンポジウム (SSII2018)
    • Related Report
      2018 Annual Research Report
  • [Presentation] 三次元計測のためのサチュレーションに対応したスパース推定法2018

    • Author(s)
      千葉直也,橋本浩一
    • Organizer
      第21回 画像の認識・理解シンポジウム (MIRU2018)
    • Related Report
      2018 Annual Research Report
  • [Presentation] LTM推定三次元計測法による金属物体のばら積みピッキング2018

    • Author(s)
      千葉直也,橋本浩一
    • Organizer
      第19回 計測自動制御学会システムインテグレーション部門講演会 (SICE SI2018)
    • Related Report
      2018 Annual Research Report
  • [Remarks] https://sites.google.com/view/n-chiba-

    • Related Report
      2018 Annual Research Report

URL: 

Published: 2018-05-01   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi