• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2018 Fiscal Year Annual Research Report

Self-Organizing Motion Primitives for Robots Utilizing Deep Learning

Research Project

Project/Area Number 15H01710
Research InstitutionWaseda University

Principal Investigator

尾形 哲也  早稲田大学, 理工学術院, 教授 (00318768)

Co-Investigator(Kenkyū-buntansha) 有江 浩明  早稲田大学, 次世代ロボット研究機構, その他(招聘研究員) (20424814)
Project Period (FY) 2015-04-01 – 2020-03-31
Keywords認知ロボティクス / 深層学習 / 予測学習 / End to End学習 / マルチモーダルシステム / 多目的ロボット
Outline of Annual Research Achievements

本研究課題では,人間型ロボットによる複数の卓上タスクを対象として,深層学習による感覚運動の予測学習を用いたロボットの動作生成手法の提案と評価を行なっている.2018年度は2017年度の成果を受けて以下の3点について研究を実施した.
(1) 深層学習モデルにおけるエラーリカバリーを含む複数動作の組み合わせ学習:2017年度までに開発,発表してきた深層学習モデルへの複合動作埋め込み技術を発展させ,エラーリカバリーを含む動作を実現した.具体的には,同一動作の繰り返し,もしくはスキップを実現することで,エラーリカバリーを実現する.人間型ロボットBaxterにより,視覚での作業状態認識,およびエラーリカバリーを含めた動作によって,作業を完遂できた.
(2) 深層学習における動作精度向上のための表現モデル設計:通常,深層学習を用いたロボット制御では,ニューロンの値として関節角度(もしくは角速度)を制御するが,高精度の出力を得ることが難しい.そこでニューロンの出力値ではなく,複数ニューロン出力をSoftmax Transferによって量子化,確率分布として出力する手法を開発し,実ロボットでの評価実験を行なった.Peg-in-holeタスクによって評価を行なった結果,本手法の有効性が確認された.
(3) 深層学習とロボットOSの統合学習のための教材構築:特に新しい展開として,実践的なシステムとマニュアルから構成される,深層学習とロボティクスの基礎学習のための教材を開発した.機械学習とロボティクスは異なる学術領域であり,相互の技術・人材の交流が困難な現状にある.そこで本研究では,それぞれの分野における初学者が利用することを前提とし,研究開発プロセスの分析とユースケース工程の分割に基づいて教材として完成させた.

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

研究成果を発表している.特に本研究の中心テーマである,複数プリミティブの深層学習への埋め込み研究の成果は,ロボット系トップ国際会議であるICRA2018への採択,さらにその応用研究がRobotics Automation Letterで採択されるなど大きな成果を挙げることができた.この一連の成果が,特に海外大学,および海外企業の共同研究に発展しており,今後の展開が期待される.
また2017年度に引き続き,本研究を基盤とした複数企業との共同研究が展開しており,複数の成果が上がっている.例えば,複数プリミティブの深層学習モデルへの埋め込みとして,本研究とは別の独自の手法を共同研究で開発し,人間型の移動ロボットによるドアへの接近,ドア開け,通り抜けという複数の全身協調動作を複数の深層学習モデルのみで実現した.本研究は国内のIT企業による大型の展示会などで実演デモを行い高い評価を受けた.また実用化を目指した小型の人間協働ロボットへの適用も進み,粉体計量や組み立て作業などの動作を極めて短期間で実装できることなどが示された.本ロボットシステムに関しても複数の展示会で実演デモを行なっている.今後,深層学習による人間動作スキルの再現と従来ロボティクスの統合により,全体システムがより高い信頼性を持って実用されることが期待される.
更なる予想外の成果が,深層学習とロボットの統合開発環境の整備である.これも企業との共同研究として,標準化された深層学習ライブラリとロボットOSによる統合フレームを構築,発表を行うことで優秀講演賞を受賞した.さらに教材として開発したシステムも複数の賞を受賞するなど,大きな成果を挙げることができたと考えている.今後の展開が期待される.

Strategy for Future Research Activity

2019年度は最終年度であり,ここに以下の2つの研究計画と統合する形で,最終的なデモンストレーションを行っていく.
(1) 深層学習によるロボットの感覚運動の扱いに関する比較検討:現在,深層学習器を用いたロボット動作学習の枠組みが多様に提案されている.特に画像入力から動作を生成するモデルは,様々にあるが,入出力の構成について網羅的に評価はされていない.最終年度は,現在提案している,ロボットの視覚運動に関する深層学習について改めてその特性を明らかにすることで,モデル全体の評価を測る.特に従来のロボティクスで困難とされている卓上タスクを対象に比較,評価を行うことを検討していく.
(2) 深層学習による力覚の学習とタスク実行:ロボットの巧緻性を高める上で極めて重要となるのが力覚に基づいたタスク実行である.これは本来の研究計画に含まれていなかったが,2018年度までの予備実験において,その有効性が示唆されている.そこで最終年度では,ロボットアームを構成するモータから得られる,関節角と電流値のみを用い,本研究で提案した深層予測学習による手法の利用を検討する.この手法を,ペグ挿入をはじめとする,複数の卓上タスクに適用していく.
以上二つの研究を通して,最終年度では,一台のロボットハードによる,異なる種類のタスクの実行を深層学習のみの利用で実現する予定である.

  • Research Products

    (37 results)

All 2019 2018 Other

All Int'l Joint Research (2 results) Journal Article (4 results) (of which Peer Reviewed: 4 results,  Open Access: 2 results) Presentation (31 results) (of which Int'l Joint Research: 8 results,  Invited: 28 results)

  • [Int'l Joint Research] バーミンガム大学/マンチェスター大学(英国)

    • Country Name
      UNITED KINGDOM
    • Counterpart Institution
      バーミンガム大学/マンチェスター大学
  • [Int'l Joint Research] ミュンヘン工科大学(ドイツ)

    • Country Name
      GERMANY
    • Counterpart Institution
      ミュンヘン工科大学
  • [Journal Article] Adaptive Drawing Behavior by Visuomotor Learning Using Recurrent Neural Networks2019

    • Author(s)
      Sasaki Kazuma、Ogata Tetsuya
    • Journal Title

      IEEE Transactions on Cognitive and Developmental Systems

      Volume: 11 Pages: 119 - 128

    • DOI

      DOI: 10.1109/TCDS.2018.2868160

    • Peer Reviewed / Open Access
  • [Journal Article] Motion Switching With Sensory and Instruction Signals by Designing Dynamical Systems Using Deep Neural Network2018

    • Author(s)
      Suzuki Kanata、Mori Hiroki、Ogata Tetsuya
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 3 Pages: 3481~3488

    • DOI

      10.1109/LRA.2018.2853651

    • Peer Reviewed / Open Access
  • [Journal Article] Put-in-Box Task Generated from Multiple Discrete Tasks by aHumanoid Robot Using Deep Learning2018

    • Author(s)
      Kase Kei、Suzuki Kanata、Yang Pin-Chu、Mori Hiroki、Ogata Tetsuya
    • Journal Title

      Proceedings of 2018 IEEE International Conference on Robotics and Automation (ICRA 2018)

      Volume: 1 Pages: 6447-6452

    • DOI

      10.1109/icra.2018.8460623

    • Peer Reviewed
  • [Journal Article] End-to-End Visuomotor Learning of Drawing Sequences using Recurrent Neural Networks2018

    • Author(s)
      Sasaki Kazuma、Ogata Tetsuya
    • Journal Title

      Proceedings of The 2018 International Joint Conference on Neural Networks (IJCNN 2018)

      Volume: 1 Pages: 1-7

    • DOI

      10.1109/IJCNN.2018.8489744

    • Peer Reviewed
  • [Presentation] 深層学習によるロボットシステム自動化に向けて2019

    • Author(s)
      尾形哲也
    • Organizer
      砥粒加工学会,研磨の基礎科学とイノベーション化専門委員会研究会
    • Invited
  • [Presentation] 予測不確実性に基づく認知と行動変化ーニューロロボティクスの視点から2019

    • Author(s)
      尾形哲也
    • Organizer
      「深層学習の先にあるもの-記号推論との融合を目指して(2)」公開シンポジウム
    • Invited
  • [Presentation] ディープラーニングのロボット応用のアプローチと応用事例2019

    • Author(s)
      尾形哲也
    • Organizer
      日本監査役協会講演会
    • Invited
  • [Presentation] AI(深層学習)とロボットの統合研究と今後の展望2018

    • Author(s)
      尾形哲也
    • Organizer
      名城大学平成30年度先端科学セミナー
    • Invited
  • [Presentation] Robot Behavior Learning with Deep Neural Networks2018

    • Author(s)
      Tetsuya Ogata
    • Organizer
      Engineering Applications of Artificial Intelligence Conference (EAAIC 2018)
    • Int'l Joint Research / Invited
  • [Presentation] ディープラーニングによる新しい実世界システムに向けて -ロボット研究を事例として2018

    • Author(s)
      尾形哲也
    • Organizer
      スイス・リー アニュアルフォーラム 2018
    • Invited
  • [Presentation] ロボットへの深層学習利用による福祉応用の可能性2018

    • Author(s)
      尾形哲也
    • Organizer
      やまぐち介護・福祉機器研究会
    • Invited
  • [Presentation] 深層予測学習の活用による多様なロボット動作学習2018

    • Author(s)
      尾形哲也
    • Organizer
      第3回電子デバイス事業化フォーラム
    • Invited
  • [Presentation] Deep neural models for robot manipulation based on predictive learning2018

    • Author(s)
      Tetsuya Ogata
    • Organizer
      Workshop on From Robotic Dexterous Manipulation to Manual Intelligence, IEEE-RAS International Conference on Humanoid Robots 2018
    • Int'l Joint Research / Invited
  • [Presentation] 深層予測学習を利用したロボットの適応的動作生成-様々なロボットへの応用-2018

    • Author(s)
      尾形哲也
    • Organizer
      『TSC Foresight』セミナー
    • Invited
  • [Presentation] ディープラーニングがロボットを変える,その先にある未来2018

    • Author(s)
      尾形哲也
    • Organizer
      NTTテクノクロスフェア2018
    • Invited
  • [Presentation] Neural models for linguistic and behavioral integration learning in robots2018

    • Author(s)
      Tetsuya Ogata
    • Organizer
      Symposium 1 at the 28th Annual Conference of the Japanese Neural Network Society (JNNS2018)
    • Int'l Joint Research / Invited
  • [Presentation] Deep Neural Models for Robot Systems based on Predictive Learning2018

    • Author(s)
      Tetsuya Ogata
    • Organizer
      The 28th Annual Conference of the Japanese Neural Network Society (JNNS2018)
    • Int'l Joint Research / Invited
  • [Presentation] AI Robot Technology for the Ageing Society2018

    • Author(s)
      Tetsuya Ogata
    • Organizer
      MIRAI Seminar 2018 Workshop
    • Int'l Joint Research / Invited
  • [Presentation] Recurrent Neural Models for Translation between Robot Actions and Language2018

    • Author(s)
      Tetsuya Ogata
    • Organizer
      Workshop on Language and Robotics, The 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2018)
    • Int'l Joint Research / Invited
  • [Presentation] ディープニューラルネットの力学系構造設計による複数動作の統合2018

    • Author(s)
      尾形哲也
    • Organizer
      GTC Japan 2018
    • Invited
  • [Presentation] ディープラーニングはロボット動作をどう変えるか2018

    • Author(s)
      尾形哲也
    • Organizer
      IGPI Tech Day 2018
    • Invited
  • [Presentation] ディープラーニングの基礎とロボットの環境認識・行動学習への応用2018

    • Author(s)
      尾形哲也
    • Organizer
      サイエンス&テクノロジー
    • Invited
  • [Presentation] 深層学習による実ロボットの効率的な動作教示2018

    • Author(s)
      尾形哲也
    • Organizer
      とやまロボット技術研究会
    • Invited
  • [Presentation] 深層学習によるロボット動作の予測・模倣学習2018

    • Author(s)
      尾形哲也
    • Organizer
      CEDEC2018
    • Invited
  • [Presentation] 深層学習の概説と、”Deep Cognitive Systems”による認知ロボティクスについて2018

    • Author(s)
      尾形哲也
    • Organizer
      丸の内AI倶楽部
    • Invited
  • [Presentation] Dynamical Integration of Language and Robot Actions by Deep Learning2018

    • Author(s)
      Tetsuya Ogata
    • Organizer
      Second International Workshop on Symbolic-Neural Learning (SNL-2018)
    • Int'l Joint Research / Invited
  • [Presentation] 深層学習によるロボットの能動知覚と物体ハンドリング2018

    • Author(s)
      尾形哲也
    • Organizer
      パターン認識・メディア理解研究会(PRMU)
    • Invited
  • [Presentation] Emerging applications: humanoid robotics for multiple tasks and communication2018

    • Author(s)
      Tetsuya Ogata
    • Organizer
      VLSI Friday Forum
    • Int'l Joint Research / Invited
  • [Presentation] 深層学習モデルによるロボットの多様な動作学習2018

    • Author(s)
      尾形哲也
    • Organizer
      テクノロジーNEXT2018
    • Invited
  • [Presentation] 深層学習によるロボットの活用と展開2018

    • Author(s)
      尾形哲也
    • Organizer
      北関東地区化学技術懇話会
    • Invited
  • [Presentation] 深層学習・予測学習を規範としたロボット行動学習2018

    • Author(s)
      尾形哲也
    • Organizer
      第111回ロボット工学セミナー
    • Invited
  • [Presentation] End-to-End学習に基づくロボットの動作生成2018

    • Author(s)
      尾形哲也
    • Organizer
      AI・人工知能EXPO
    • Invited
  • [Presentation] 深層学習を用いた実機ロボットアームの高精度動作生成2018

    • Author(s)
      後藤守規,伊藤洋,森裕紀,山本健次郎,尾形哲也
    • Organizer
      計測自動制御学会システムインテグレーション部門講演会SI2018
  • [Presentation] 深層学習を用いたロボットシステム開発の基礎学習キット2018

    • Author(s)
      金村杏美,菅佑樹,尾形 哲也
    • Organizer
      計測自動制御学会システムインテグレーション部門講演会SI2018
  • [Presentation] ARとロボットミドルウェアを用いたロボットシステム構築法の開発2018

    • Author(s)
      村田祐樹,菅佑樹,尾形哲也
    • Organizer
      日本ロボット学会第36回学術講演会

URL: 

Published: 2019-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi