• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2017 年度 実施状況報告書

深層学習を用いたアクション指向物体認識

研究課題

研究課題/領域番号 17K18420
研究機関国立研究開発法人産業技術総合研究所

研究代表者

吉安 祐介  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (10712234)

研究期間 (年度) 2017-04-01 – 2020-03-31
キーワード深層学習 / 物体認識 / ロボット / アクション
研究実績の概要

今年度は、本研究課題である深層学習を用いたアクション指向物体認識を構築するための基礎として、移動ロボットおよびロボットアームの実験環境を整備し、深層学習に基づいてロボットを制御するための計算機環境とソフトウェア環境を整えた。具体的には、kinectなどのRGBDセンサを入力として導いた物体認識結果からロボットアクションを生成するために、ROSを用いたビジョン-アクションフレームワークを構築した。このフレームワークにリアルタイム物体検出器であるSingle shot multi-box detector (SSD)とYou only look once(Yolo)をのせロボットに実装した。これらの技術を用いることで移動ロボットによる物体探索やマニピュレーションロボットの把持動作などの自律的な制御が実現できる。
ロボットアームによる把持動作を実現するための基礎として、CNNを用いた姿勢推定技術を提案した。ここでは、物体検出器を用いて物体領域を切り出した画像を入力として、CNNを用いて物体の姿勢を推定した。CNNのネットワーク層中に、行列を直交行列に近づける制約層を組み込み、3次元姿勢を回転行列(9パラメータ)として回帰した。回転行列として回帰することで、クォータニオンや回転ベクトルを推定する手法よりも姿勢推定精度を向上させた。また、CNNで推定した姿勢を探索の初期値としてポイントクラウドに対して物体3次元モデルの位置あわせを行うICPアルゴリズムを統合した。これらの認識結果を活用し、位置あわせした3次元モデルを把持の目標として、双腕ロボットを用いて把持動作を生成した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

今年度は移動ロボットだけでなく、来年度行う予定であったロボットアームの把持動作生成を行うためのフレームワークを構築することができた。本年度行う予定であった移動ロボットの移動方向を提示する深層学習技術については、動作軌道生成のゴールとなる物体がどこにあるかを認識する物体検出技術をロボットに実装し、現在は時系列データを処理するRNNを物体検出器とどのように組み合わせればよいかということを研究中である。研究を遂行する順序は少し前後したが、おおむね順調に進展していると考えている。

今後の研究の推進方策

移動ロボットの移動軌道とロボットアームの把持動作軌道を生成する問題を一般的にとらえ、これら二つの問題を包括的な形で解決する技術として、視覚認識をロボット動作生成に結びつけるためのアクション指向物体認識技術と動作軌道生成手法を構築する。これにより、技術開発およびその後の移動とマニュピュレーションの統合がスムーズに進むと考えている。

次年度使用額が生じた理由

GPU搭載のデスクトップコンピュータではなくGPUを購入したため。来年度は、GPUなどの消耗品に活用する。

  • 研究成果

    (2件)

すべて 2017

すべて 雑誌論文 (2件) (うち国際共著 2件、 査読あり 2件)

  • [雑誌論文] Understanding and Exploiting Object Interaction Landscapes2017

    • 著者名/発表者名
      Pirk S?ren、Krs Vojtech、Hu Kaimo、Rajasekaran Suren Deepak、Kang Hao、Yoshiyasu Yusuke、Benes Bedrich、Guibas Leonidas J.
    • 雑誌名

      ACM Transactions on Graphics

      巻: 36 ページ: 1~14

    • DOI

      10.1145/3072959.3083725

    • 査読あり / 国際共著
  • [雑誌論文] 3D convolutional neural networks by modal fusion2017

    • 著者名/発表者名
      Yoshiyasu Yusuke、Yoshida Eiichi、Pirk Soeren、Guibas Leonidas
    • 雑誌名

      2017 IEEE International Conference on Image Processing (ICIP)

      巻: - ページ: 1777-1781

    • DOI

      10.1109/ICIP.2017.8296587

    • 査読あり / 国際共著

URL: 

公開日: 2018-12-17  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi