• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2017 Fiscal Year Research-status Report

Deep learning for action

Research Project

Project/Area Number 17K18420
Research InstitutionNational Institute of Advanced Industrial Science and Technology

Principal Investigator

吉安 祐介  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (10712234)

Project Period (FY) 2017-04-01 – 2020-03-31
Keywords深層学習 / 物体認識 / ロボット / アクション
Outline of Annual Research Achievements

今年度は、本研究課題である深層学習を用いたアクション指向物体認識を構築するための基礎として、移動ロボットおよびロボットアームの実験環境を整備し、深層学習に基づいてロボットを制御するための計算機環境とソフトウェア環境を整えた。具体的には、kinectなどのRGBDセンサを入力として導いた物体認識結果からロボットアクションを生成するために、ROSを用いたビジョン-アクションフレームワークを構築した。このフレームワークにリアルタイム物体検出器であるSingle shot multi-box detector (SSD)とYou only look once(Yolo)をのせロボットに実装した。これらの技術を用いることで移動ロボットによる物体探索やマニピュレーションロボットの把持動作などの自律的な制御が実現できる。
ロボットアームによる把持動作を実現するための基礎として、CNNを用いた姿勢推定技術を提案した。ここでは、物体検出器を用いて物体領域を切り出した画像を入力として、CNNを用いて物体の姿勢を推定した。CNNのネットワーク層中に、行列を直交行列に近づける制約層を組み込み、3次元姿勢を回転行列(9パラメータ)として回帰した。回転行列として回帰することで、クォータニオンや回転ベクトルを推定する手法よりも姿勢推定精度を向上させた。また、CNNで推定した姿勢を探索の初期値としてポイントクラウドに対して物体3次元モデルの位置あわせを行うICPアルゴリズムを統合した。これらの認識結果を活用し、位置あわせした3次元モデルを把持の目標として、双腕ロボットを用いて把持動作を生成した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

今年度は移動ロボットだけでなく、来年度行う予定であったロボットアームの把持動作生成を行うためのフレームワークを構築することができた。本年度行う予定であった移動ロボットの移動方向を提示する深層学習技術については、動作軌道生成のゴールとなる物体がどこにあるかを認識する物体検出技術をロボットに実装し、現在は時系列データを処理するRNNを物体検出器とどのように組み合わせればよいかということを研究中である。研究を遂行する順序は少し前後したが、おおむね順調に進展していると考えている。

Strategy for Future Research Activity

移動ロボットの移動軌道とロボットアームの把持動作軌道を生成する問題を一般的にとらえ、これら二つの問題を包括的な形で解決する技術として、視覚認識をロボット動作生成に結びつけるためのアクション指向物体認識技術と動作軌道生成手法を構築する。これにより、技術開発およびその後の移動とマニュピュレーションの統合がスムーズに進むと考えている。

Causes of Carryover

GPU搭載のデスクトップコンピュータではなくGPUを購入したため。来年度は、GPUなどの消耗品に活用する。

  • Research Products

    (2 results)

All 2017

All Journal Article (2 results) (of which Int'l Joint Research: 2 results,  Peer Reviewed: 2 results)

  • [Journal Article] Understanding and Exploiting Object Interaction Landscapes2017

    • Author(s)
      Pirk S?ren、Krs Vojtech、Hu Kaimo、Rajasekaran Suren Deepak、Kang Hao、Yoshiyasu Yusuke、Benes Bedrich、Guibas Leonidas J.
    • Journal Title

      ACM Transactions on Graphics

      Volume: 36 Pages: 1~14

    • DOI

      10.1145/3072959.3083725

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] 3D convolutional neural networks by modal fusion2017

    • Author(s)
      Yoshiyasu Yusuke、Yoshida Eiichi、Pirk Soeren、Guibas Leonidas
    • Journal Title

      2017 IEEE International Conference on Image Processing (ICIP)

      Volume: - Pages: 1777-1781

    • DOI

      10.1109/ICIP.2017.8296587

    • Peer Reviewed / Int'l Joint Research

URL: 

Published: 2018-12-17  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi