• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2015 Fiscal Year Annual Research Report

深層学習を用いたロボットの動作プリミティブの獲得と行動生成

Research Project

Project/Area Number 15H01710
Research InstitutionWaseda University

Principal Investigator

尾形 哲也  早稲田大学, 理工学術院, 教授 (00318768)

Co-Investigator(Kenkyū-buntansha) 有江 浩明  早稲田大学, 理工学術院, 助教 (20424814)
Project Period (FY) 2015-04-01 – 2020-03-31
Keywords知能ロボティクス / 機械学習 / マルチモーダルシステム / 認知科学
Outline of Annual Research Achievements

本課題では,人間型ロボットによる多様な卓上タスクを行うことを目的として,特にディープラーニングを利用した知能ロボットの行動学習手法を提案している.
申請者らは本課題遂行にあたり,これまでにディープラーニングによる視聴覚と運動の統合モデルを提案しており,小型ロボットNAOにて検証実験を行っているが実際の作業には応用されていない.また従来研究として,S.Levineらは,PR-2を用いた複数物体操作の学習をディープラーニングによって実現している(S. Levine 2015)が,その内容は画像と運動のマッピングであり,物体の把持など画像が大きく変化しない動作は学習できない.
そこで本年度は,ミュンヘン工科大学Gordon Chang教授の協力を得て,ロボットPR-2による柔軟物体(タオル)の把持及び折りたたみ動作学習を試みた.具体的には,PR-2のアームとハンドを人間が直接操作するダイレクトティーチングの手法により,卓上の複数位置でタオルの把持と折りたたみ動作データを取得する.この際,頭部カメラから取得される映像,及びアームとハンドの動作情報を時系列情報として,提案するマルチモーダル型のTime Delay Deep Autoencoderに学習させる.この手法を用いることで,ロボットは,次の姿勢や物体状態(映像)予測しながら,運動を生成することが可能となる.本手法は,上記のNAO用のディープラーニングモデルを転用しており,ロボット,タスクの大幅な変更があったにもかかわらず,その実装は教師データの取得も含めて,二ヶ月弱という極めて短期間で行うことができた.
学習後,未学習のタオル位置に対して,概ね1cm以内の位置誤差でオンラインの動作生成(及び映像予測)が可能であることを確認した.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

予算の限界から,計画書で示してたロボットシステムNextage-Openの購入は断念したが,ミュンヘン工科大学の協力による,PR-2の使用,さらに早稲田大学リーディング大学の協力によってNextage-Oneを一時的に利用することができ,研究のための準備は進んでいる.
具体的にはPR-2による柔軟物ハンドリングタスクの実現と評価を行うことができた点,またROS, RT-Middlewareの利用によって,Nextage-One,Oculus,3Dマウスなどを統合した,Woz法による動作教示システムをほぼ完成させた.また多様な物体操作を実現するためのハンドシステムについても,3Dプリンタの活用などにより複数のプロトタイプを作成し評価を行っている.具体的には,R.JosephらのBaxterとディープラーニングを用いた物体把持の研究の再現をNextage-Oneと開発したハンドにて行い,様々な条件下で性能を比較評価している.
このように計画書で予定していたH28年度からの,Wozによる動作学習データ収集や,Recurrent Neural Netなどの新しい神経回路モデルを導入するための準備は整ったと言える.

Strategy for Future Research Activity

H27年度までに,提案システムの評価実験をPR-2及びNextageで行った.また関節トルクを計測でき,動作の教示データが容易に作成可能な専用のロボットプラットフォームの導入を行った.今後は引き続き,各箇所との共同研究の過程で,様々なロボットへの学習モデルの導入を進め,モデルの拡張を図る.
特に多様な卓上タスクを行う上では,物体へのなぞりなどの動作を許容する,柔軟なハンドが重要となる.これまでに様々なロボットハンドを検討してきているが,十分な性能を得られるものがなく,3Dプリンタ等で自主的な開発を行っているのが現状である.しかしディープラーニングでは,可能な限り多くの学習データを得ることが必要不可欠であり,信頼性の高いロボットハンドを導入することが非常に重要になると考えられる.現状では,ROS, RT-Middlewareなどから提供されるシミュレーション環境を利用した,大体の事前学習(プレトレイニング)などの方法論を視野に入れ,これらの問題に対処していく予定である.

  • Research Products

    (21 results)

All 2016 2015 Other

All Int'l Joint Research (1 results) Journal Article (1 results) (of which Peer Reviewed: 1 results,  Acknowledgement Compliant: 1 results) Presentation (19 results) (of which Int'l Joint Research: 2 results,  Invited: 6 results)

  • [Int'l Joint Research] ミュンヘン工科大学(ドイツ)

    • Country Name
      GERMANY
    • Counterpart Institution
      ミュンヘン工科大学
  • [Journal Article] Efficient Motor Babbling Using Variance Predictions from a Recurrent Neural Network2015

    • Author(s)
      Kuniyuki Takahashi, Kanata Suzuki, Tetsuya Ogata, Hadi Tjandra and Shigeki Sugano
    • Journal Title

      Lecture Notes in Computer Science

      Volume: 9491 Pages: 26-33

    • DOI

      10.1007/978-3-319-26555-1_4

    • Peer Reviewed / Acknowledgement Compliant
  • [Presentation] Deep Neural Models for Multimodal Integration in Robot System2016

    • Author(s)
      Tetsuya Ogata
    • Organizer
      The 3rd mini-symposium on Computations, Brains and Machines
    • Place of Presentation
      理化学研究所
    • Year and Date
      2016-03-17 – 2016-03-17
    • Invited
  • [Presentation] モーターバブリングと神経回路モデルを用いた道具身体化〜複数道具把持動作による身体遷移過程の学習と生成〜2016

    • Author(s)
      金杞泰,高橋城志,Hadi Tjandra,尾形哲也,菅野重樹
    • Organizer
      情報処理学会第78回全国大会
    • Place of Presentation
      慶應義塾大学
    • Year and Date
      2016-03-10 – 2016-03-12
  • [Presentation] 深層学習を用いた多自由度ロボットによる柔軟物の折り畳み動作生成2016

    • Author(s)
      鈴木彼方,高橋城志,ゴードンチェン,尾形哲也
    • Organizer
      情報処理学会第78回全国大会
    • Place of Presentation
      慶応義塾大学
    • Year and Date
      2016-03-10 – 2016-03-12
  • [Presentation] Robot Behavior Learning utilizing Deep Neural Networks2016

    • Author(s)
      Tetsuya Ogata
    • Organizer
      The 2nd International Workshop on Cognitive Neuroscience Robotics
    • Place of Presentation
      Sankei Conference Osaka Umeda
    • Year and Date
      2016-02-21 – 2016-02-22
    • Invited
  • [Presentation] 深層学習による自律ロボットのマルチモーダル学習2016

    • Author(s)
      尾形哲也
    • Organizer
      STARCアドバンスドセミナー
    • Place of Presentation
      川崎市産業振興会館
    • Year and Date
      2016-01-07 – 2016-01-07
    • Invited
  • [Presentation] RTコンポーネントを用いたシステム開発用フレームワーク「wasanbon」の開発2015

    • Author(s)
      菅佑樹,尾形哲也
    • Organizer
      計測自動制御学会システムインテグレーション部門講演会SI2015
    • Place of Presentation
      名古屋国際会議場
    • Year and Date
      2015-12-14 – 2015-12-16
  • [Presentation] ロボットを用いた身体モデル変調による道具身体化モデル2015

    • Author(s)
      Tjandra Hadi,高橋城志,尾形哲也,菅野重樹
    • Organizer
      計測自動制御学会システムインテグレーション部門講演会SI2015
    • Place of Presentation
      名古屋国際会議場
    • Year and Date
      2015-12-14 – 2015-12-16
  • [Presentation] 神経回路モデルによるマルチモーダル学習とロボット行動生成2015

    • Author(s)
      尾形哲也
    • Organizer
      計測自動制御学会システムインテグレーション部門講演会SI2015
    • Place of Presentation
      名古屋国際会議場
    • Year and Date
      2015-12-14 – 2015-12-16
    • Invited
  • [Presentation] Effective Motion Learning for a Flexible-Joint Robot using Motor Babbling2015

    • Author(s)
      Kuniyuki Takahashi, Tetsuya Ogata, Hiroki Yamada, Hadi Tjandra, and Shigeki Sugano
    • Organizer
      IEEE/RAS International Conference on Intelligent Robots and Systems (IROS 2015)
    • Place of Presentation
      Hambrug
    • Year and Date
      2015-09-28 – 2015-10-03
    • Int'l Joint Research
  • [Presentation] Neural Network based Model for Visual-motor Integration Learning of Robot’s Drawing Behavior2015

    • Author(s)
      Kazuma Sasaki, Hadi Tjandra, Kuniaki Noda, Kuniyuki Takahashi, and Tetsuya Ogata
    • Organizer
      IEEE/RAS International Conference on Intelligent Robots and Systems (IROS 2015)
    • Place of Presentation
      Hambrug
    • Year and Date
      2015-09-28 – 2015-10-03
    • Int'l Joint Research
  • [Presentation] RTCによる深層学習モデルと柔軟関節ロボットの統合2015

    • Author(s)
      陽品駒,高橋城志,尾形哲也,菅祐樹,菅野重樹
    • Organizer
      日本ロボット学会第33回学術講演会
    • Place of Presentation
      東京電機大学
    • Year and Date
      2015-09-03 – 2015-09-05
  • [Presentation] ロボットミドルウェアにおける障害検出フレームワークの提案とRTミドルウェアでの実装2015

    • Author(s)
      安里太緒,菅佑樹,尾形哲也
    • Organizer
      日本ロボット学会第33回学術講演会
    • Place of Presentation
      東京電機大学
    • Year and Date
      2015-09-03 – 2015-09-05
  • [Presentation] Dynamic Motion Learning for a Flexible-Joint Robot using Active-Passive Motor Babbling2015

    • Author(s)
      Kuniyuki Takahashi, Tetsuya Ogata, Shigeki Sugano, Gordon Cheng
    • Organizer
      日本ロボット学会第33回学術講演会
    • Place of Presentation
      東京電機大学
    • Year and Date
      2015-09-03 – 2015-09-05
  • [Presentation] 受動的な動作を含むモータバブリングによる柔軟関節を有するロボットの動作学習2015

    • Author(s)
      山田浩貴,高橋城志,尾形哲也,Hadi Tjandra,菅野重樹
    • Organizer
      日本ロボット学会第33回学術講演会
    • Place of Presentation
      東京電機大学
    • Year and Date
      2015-09-03 – 2015-09-05
  • [Presentation] ニューラルネットモデルと知能ロボットへの応用2015

    • Author(s)
      尾形哲也
    • Organizer
      スーパーコンピューティング技術産業応用協議会
    • Place of Presentation
      機械振興会館
    • Year and Date
      2015-09-01 – 2015-09-01
    • Invited
  • [Presentation] Neuro-dynamical Models for Human Robot Interaction2015

    • Author(s)
      Tetsuya Ogata
    • Organizer
      French-Japanese-German Workshop On Human Centric Robotics
    • Place of Presentation
      Embassy of France in Berlin
    • Year and Date
      2015-06-08 – 2015-06-12
    • Invited
  • [Presentation] 再帰神経回路モデルによる分散予測を用いた柔軟関節ロボットの身体ダイナミクスの探索2015

    • Author(s)
      鈴木彼方,高橋城志,Hadi Tjandra,村田真悟,菅野重樹,尾形哲也
    • Organizer
      日本機械学会ロボティクスメカトロニクス講演会
    • Place of Presentation
      みやこめっせ
    • Year and Date
      2015-05-17 – 2015-05-19
  • [Presentation] RTミドルウエアのためのRTC・RTSリポジトリ管理フレームワークwasanbon2015

    • Author(s)
      菅佑樹,尾形哲也
    • Organizer
      日本機械学会ロボティクスメカトロニクス講演会
    • Place of Presentation
      みやこめっせ
    • Year and Date
      2015-05-17 – 2015-05-19
  • [Presentation] 自律移動ロボットフレームワークの提案とRTミドルウェアへの実装2015

    • Author(s)
      安里太緒,菅佑樹,尾形哲也
    • Organizer
      日本機械学会ロボティクスメカトロニクス講演会
    • Place of Presentation
      みやこめっせ
    • Year and Date
      2015-05-17 – 2015-05-19

URL: 

Published: 2017-01-06   Modified: 2023-03-16  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi