• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2017 Fiscal Year Annual Research Report

Self-Organizing Motion Primitives for Robots Utilizing Deep Learning

Research Project

Project/Area Number 15H01710
Research InstitutionWaseda University

Principal Investigator

尾形 哲也  早稲田大学, 理工学術院, 教授 (00318768)

Co-Investigator(Kenkyū-buntansha) 有江 浩明  早稲田大学, 理工学術院, 助手 (20424814)
Project Period (FY) 2015-04-01 – 2020-03-31
Keywords認知ロボティクス / 深層学習 / 予測学習 / End to End学習 / マルチモーダルシステム / 多目的ロボット
Outline of Annual Research Achievements

本研究課題では,人間型ロボットによる複数の卓上タスクを対象として,深層学習による感覚運動の予測学習を用いたロボットの動作生成手法の提案と評価を行なっている.
H29年度は,主に(1)動作教示手法の拡張,(2)双腕アームのための神経回路モデル,(3)予測可能性評価に基づく物体操作の自動生成,の3項目にわたる研究を展開した.
(1) 動作教示手法の拡張:本課題で提案している深層学習による動作学習は,多様かつ複雑な動作データをいかに効率よく作成するかが重要となる.人間によるデータ作成には通常の制御やモーションキャプチャ,3Dマウスなど様々なデバイスの利用が考えられるが,それぞれに異なる特徴がある.そこで教示者が状況においてデバイスを切り替え,データを生成する手法を開発し料理タスクなどを題材に評価を行なった.
(2) 双腕アームのための神経回路モデル:双腕アームによるのスクは,各アームが独立して作業を行う場合と,協調した単一タスクを行う場合がありうる.この異なる特性の作業を同時に学習可能な神経回路モデルについて検討を行なった.具体的には,階層型の神経回路モデルにおいて,複数のモデルを設計し,シミュレーションによりその作業特性を比較した.その結果,部分的な回路共有を持った2つの神経回路モデルの有効性を確認した.
(3) 予測可能性評価に基づく物体操作の自動生成:多様性な形状を持つ未学習の物体に対するアプローチは多様にありうる.本研究では「主体は自身の行為結果の予測可能性が最大になる行為を選択する」という仮説のもとに,深層学習を用いた動作生成モデルを構築した.具体的には感覚運動情報の予測値の分散を予測学習するモデルを用い,この分散が最小となる行為を生成するモデルを人間型ロボットのシミュレーションに実装した.多様な位置,方向に配置されたラグビーボールを押すタスクにおいて本手法を評価した.

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

昨年度までに提案モデルの基礎特性を確認する一連の研究を展開し,国際会議論文として成果発表を行なってきている.また次の応用フェーズにおいて重要となる,多様な作業データ収集という課題に対して,教示手法の検討が行えた.ハンドについては,産業技術総合研究所における機材としての多指ハンド(Allegro Hand)を,臨時に利用可能な目処がついた.本研究の課題とする卓上タスクについての学習と評価を行う準備が整ったと言える.さらに本研究課題の成果について複数の展示会での公開の機会にも恵まれている.
当初の計画に含まれなかった予想外の成果として,本課題における成果論文を複数企業に参照いただき,応用していただけた点である.一つは,汎用型を志向したマルチモーダルAIロボットの開発である.複数企業がそれぞれの汎用技術を持ち寄り,本課題で提案したモデルを再現,同一ハードウェアと同一ソフトウェアで複数作業を行う汎用志向ロボットを3ヶ月という短期間で開発しプレス発表した.本ロボットは複数展示会において展示され注目を浴びた.もう一つは,提案手法の普及,という視点からの開発環境構築である.具体的には他の企業によって本課題の手法を再現可能な深層学習ライブラリとロボットOSのRT-Middlewareの統合環境の構築といった事例に繋がった.このように人間型汎用ロボットのプログラミングコスト削減という,提案手法の大きな狙いが理解され,確実に広まっている.

Strategy for Future Research Activity

今後は,教示システムを用いて多様なタスクの実現を目指していく.具体的には,(1)多指ハンドによる物体操作,(2)動作データの収集,(3)エラーリカバリ学習,などが課題となる.
(1)多指ハンドによる物体操作:物体の把持に関しては,その汎用性に関して,吸着型とハンド型で議論があるが,タスクを行うことを考えると多指ハンドは有力な候補だと考えられる.今後は教示手法を指の操作に拡張することで,把持だけでなく物体操作の教示と学習を行なっていく.ハンドによる物体操作では画像のオクルージョンの問題が顕在化するため,トルクセンサー,接触センサーが重要となると考えられる.
(2)動作データの収集:提案手法は予測学習をベースとしているため,強化学習ほどのデータは必要とはならない.しかし十分に多様な動作へと拡張するためには,多くの動作学習が必須となる.アウトソーシングによるデータ収集,さらにはシミュレーション環境での基礎動作の収集などが課題となると考えられる.
(3)エラーリカバリ学習:多様な動作となり,そのシーケンス長が大きくなるにつれて,作業中でのエラーリカバリが重要となってくる.これまでに提案している動作プリミティブの組み合わせ手法にリカバリー動作を加えることで一定の成果が得られると考えられる.理想的には過去に描画モデルとして提案し,成果発表している「誤差逆伝播法を用いた,画像ベースの目標状態への動作プラニングの手法」を援用することを考える.

  • Research Products

    (35 results)

All 2018 2017 Other

All Int'l Joint Research (2 results) Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 1 results) Presentation (27 results) (of which Int'l Joint Research: 2 results,  Invited: 16 results) Book (3 results)

  • [Int'l Joint Research] ミュンヘン工科大学(ドイツ)

    • Country Name
      GERMANY
    • Counterpart Institution
      ミュンヘン工科大学
  • [Int'l Joint Research] プリマス大学(英国)

    • Country Name
      UNITED KINGDOM
    • Counterpart Institution
      プリマス大学
  • [Journal Article] Learning to Achieve Different Levels of Adaptability for Human - Robot Collaboration Utilizing a Neuro-dynamical System2018

    • Author(s)
      Shingo Murata, Yuxi Li, Hiroaki Arie, Tetsuya Ogata, and Shigeki Sugano
    • Journal Title

      IEEE Transactions on Cognitive and Developmental Systems

      Volume: 10 Pages: 1-1

    • DOI

      10.1109/TCDS.2018.2797260

    • Peer Reviewed
  • [Journal Article] Tool-body Assimilation Model Considering Grasping Motion through Deep Learning2017

    • Author(s)
      Kuniyuki Takahashi, Kitae Kim, Tetsuya Ogata, and Shigeki Sugano
    • Journal Title

      Robotics and Autonomous Systems

      Volume: 91 Pages: 115-127

    • DOI

      10.1016/j.robot.2017.01.002

    • Peer Reviewed / Open Access
  • [Journal Article] Dynamic Motion Learning for Multi-DOF Flexible-Joint Robots Using Active-Passive Motor Babbling through Deep Learning2017

    • Author(s)
      Kuniyuki Takahashi, Tetsuya Ogata, Jun Nakanishi, Gordon Cheng, and Shigeki Sugano
    • Journal Title

      Advanced Robotics

      Volume: 31 Pages: 1002-1015

    • DOI

      10.1080/01691864.2017.1383939

    • Peer Reviewed
  • [Presentation] 深層学習による動作と言語の統合学習2018

    • Author(s)
      尾形哲也
    • Organizer
      「深層学習の先にあるもの, 記号推論との融合を目指して」公開シンポジウム
    • Invited
  • [Presentation] ディープラーニングによるロボットの知能化と展開2018

    • Author(s)
      尾形哲也
    • Organizer
      第163回産学交流サロン「ひびきのサロン」
    • Invited
  • [Presentation] End-to-end learning for combining multiple robot actions2018

    • Author(s)
      尾形哲也
    • Organizer
      産業技術研究所人工知能研究センター国際シンポジウム”AI collaborating with Humans in the real world”
    • Invited
  • [Presentation] 深層学習による予測に基づくロボットの動作生成2018

    • Author(s)
      尾形哲也
    • Organizer
      Science Robotics Meeting in Japan
    • Invited
  • [Presentation] 複数神経回路モデルの部分共有による複数同時動作の学習とロボットへの応用2018

    • Author(s)
      中島佳昭,加瀬敬唯,中條亨一,尾形哲也
    • Organizer
      情報処理学会第80回全国大会
  • [Presentation] Mixing Actual and Predicted Sensory States based on Uncertainty Estimation for Flexible and Robust Robot Behavior2017

    • Author(s)
      Shingo Murata, Wataru Masuda, Saki Tomioka, Tetsuya Ogata, and Shigeki Sugano
    • Organizer
      In Artificial Neural Networks and Machine Learning, ICANN 2017, Lecture Notes in Computer Science (LNCS)
    • Int'l Joint Research
  • [Presentation] Reduced Behavioral Flexibility by Aberrant Sensory Precision in Autism Spectrum Disorder: A Neurorobotics Experiment2017

    • Author(s)
      Hayato Idei, Shingo Murata, Yiwen Chen, Yuichi Yamashita, Jun Tani and Tetsuya Ogata
    • Organizer
      IEEE International Conference on Development and Learning and on Epigenetic Robotics (ICDL-Epirob 2017)
    • Int'l Joint Research
  • [Presentation] ディープラーニングのロボティクス応用の可能性2017

    • Author(s)
      尾形哲也
    • Organizer
      LSIとシステムのワークショップ2017
    • Invited
  • [Presentation] End to End Learning Models for Robot Object Manipulation2017

    • Author(s)
      Tetsuya Ogata
    • Organizer
      Workshop on “AI in Automation”, IEEE International Conference on Robotics and Automation (ICRA 2017)
    • Invited
  • [Presentation] ディープラーニングを用いたロボットの行動計画2017

    • Author(s)
      尾形哲也
    • Organizer
      画像センシングシンポジウム2017
    • Invited
  • [Presentation] 深層学習によるロボットマニピュレーション2017

    • Author(s)
      尾形哲也
    • Organizer
      新潟県工業技術総合研究所 研究成果発表会
    • Invited
  • [Presentation] 深層学習によるロボットの動作模倣学習と今後の展望2017

    • Author(s)
      尾形哲也
    • Organizer
      第4回脳型人工知能とその応用 Mini Workshop
    • Invited
  • [Presentation] Mirror neuron-like deep learning model implemented in humanoid robots2017

    • Author(s)
      Tetsuya Ogata
    • Organizer
      Brain Challenge 2017-the 20th Annual Meeting of the Korean Society for Brain and Neural Science
    • Invited
  • [Presentation] Deep Learning for Robotics toward Deep Cognitive Systems2017

    • Author(s)
      Tetsuya Ogata
    • Organizer
      RSJ Tutorial, IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2017)
    • Invited
  • [Presentation] End to End Approach for Behavior Generation and Language Understanding in Robot Systems2017

    • Author(s)
      Tetsuya Ogata
    • Organizer
      Workshop on “Representation Learning for Human and Robot Cognition”, 5th International Conference on Human-Agent Interaction (HAI 2017)
    • Invited
  • [Presentation] ディープラーニングの実世界応用と今後の可能性2017

    • Author(s)
      尾形哲也
    • Organizer
      データサイエンティスト協会4thシンポジウム
    • Invited
  • [Presentation] Robot Behavior Generation Based on End-to-End Learning2017

    • Author(s)
      Tetsuya Ogata
    • Organizer
      ETRI Workshop
    • Invited
  • [Presentation] ディープラーニングによるロボットの今後の展開2017

    • Author(s)
      尾形哲也
    • Organizer
      日刊工業新聞社主催ワークショップ,国際ロボット展2017
    • Invited
  • [Presentation] ロボティクスと AI の融合ヘ向けて2017

    • Author(s)
      尾形哲也
    • Organizer
      GTC Japan 2017
    • Invited
  • [Presentation] 深層学習を用いた多自由度ロボットの動作の組合せと片付けタスク実行2017

    • Author(s)
      加瀬敬唯、鈴木彼方、陽品駒、尾形哲也
    • Organizer
      日本機械学会ロボティクスメカトロニクス講演会
  • [Presentation] 神経回路モデルを用いた感覚不確実性の予測による 状況変化に対する適応的行動生成2017

    • Author(s)
      増田航、村田真悟、富岡咲希、尾形哲也、菅野重樹
    • Organizer
      日本機械学会ロボティクスメカトロニクス講演会
  • [Presentation] ロボットミドルウェアにおける物体認識・リーチングのためのフレームワークの提案2017

    • Author(s)
      太田博己、安里太緒、菅佑樹、尾形哲也
    • Organizer
      日本機械学会ロボティクスメカトロニクス講演会
  • [Presentation] ロボットシミュレーション環境構築フレームワーク「RTM-Unity Sim」の開発2017

    • Author(s)
      大西直、佐々木一磨、本吉俊之、菅佑樹、尾形哲也
    • Organizer
      日本機械学会ロボティクスメカトロニクス講演会
  • [Presentation] 深層学習モデルによる動作指示に基づく衣服折り畳みタスク学習2017

    • Author(s)
      鈴木彼方,加瀬敬唯,尾形哲也
    • Organizer
      第31回人工知能学会全国大会
  • [Presentation] 時系列情報を入力とするCNNを用いた自動運転ステアリング・アクセル学習2017

    • Author(s)
      本吉俊之,佐々木一磨,大西直,曽田尚宏,尾形哲也
    • Organizer
      日本ロボット学会第35回学術講演会
  • [Presentation] RTミドルウェアを用いたロボット操縦とセンサ情報の体験を伴うVRゲーム2017

    • Author(s)
      太田博己,村田祐樹,菅佑樹,尾形哲也
    • Organizer
      計測自動制御学会システムインテグレーション部門講演会SI2017
  • [Presentation] 神経回路モデルにおける追加学習手法に関する検討2017

    • Author(s)
      張耀宇,中條亨一,山田竜郎,村田真悟,有江浩明,尾形哲也
    • Organizer
      計測自動制御学会システムインテグレーション部門講演会SI2017
  • [Book] AI白書20172017

    • Author(s)
      独立行政法人情報処理推進機構 AI白書編集委員会
    • Total Pages
      360
    • Publisher
      KADOKAWA
    • ISBN
      978-4048996075
  • [Book] ディープラーニングがロボットを変える2017

    • Author(s)
      尾形哲也
    • Total Pages
      192
    • Publisher
      日刊工業新聞社
    • ISBN
      978-4-526-07732-6
  • [Book] Humanoid Robotics: A Reference2017

    • Author(s)
      Editor: Ambarish Goswami, and Prahlad Vadakkepat,
    • Total Pages
      2650
    • Publisher
      Springer
    • ISBN
      978-94-007-7194-9

URL: 

Published: 2018-12-17   Modified: 2022-08-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi