• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Behavior Acquisition of Multi-legged Robots by CPG and Reinforcement Learning in Multi-task Environment

Research Project

Project/Area Number 15K00355
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Research Field Soft computing
Research InstitutionMatsue National College of Technology

Principal Investigator

HORIUCHI Tadashi  松江工業高等専門学校, 電子制御工学科, 教授 (50294129)

Research Collaborator KISHIMOTO Ryoichi  
SASAKI Hikaru  
Project Period (FY) 2015-04-01 – 2018-03-31
Project Status Completed (Fiscal Year 2017)
Budget Amount *help
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2017: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2016: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2015: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Keywords知能ロボティクス / ニューラルネットワーク / 強化学習 / 行動獲得 / 複数タスク
Outline of Final Research Achievements

In this research, we realized that real multi-legged robots themselves acquired behaviors to perform multiple tasks such as avoiding the obstacles and reaching the target area, by using Central Pattern Generator (CPG) and reinforcement learning. First, we realized each learning module to perform each task, by using CPG and reinforcement learning. Next, we constructed behavior learning system for multi-task environment, by adding the upper module to integrate the outputs of lower learning modules. We implemented this behavior learning system for six-legged robot, four-legged robot and snake-like robot. Through the experiments for three kinds of real robots, we confirmed the effectiveness of our behavior learning system using CPG and reinforcement.

Report

(4 results)
  • 2017 Annual Research Report   Final Research Report ( PDF )
  • 2016 Research-status Report
  • 2015 Research-status Report
  • Research Products

    (34 results)

All 2018 2017 2016 2015

All Journal Article (6 results) (of which Peer Reviewed: 6 results,  Open Access: 3 results,  Acknowledgement Compliant: 2 results) Presentation (28 results) (of which Int'l Joint Research: 3 results)

  • [Journal Article] Experimental Study on Behavior Acquisition of Mobile Robot by Deep Q-Network2017

    • Author(s)
      Sasaki Hikaru, Horiuchi Tadashi, Kato Satoru
    • Journal Title

      Journal of Advanced Computational Intelligence and Intelligent Informatics

      Volume: 21 Issue: 5 Pages: 840-848

    • DOI

      10.20965/jaciii.2017.p0840

    • NAID

      130007520131

    • ISSN
      1343-0130, 1883-8014
    • Year and Date
      2017-09-20
    • Related Report
      2017 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Acquisition of Goal-Oriented Behavior for Snake-Like Robot by CPG and Reinforcement Learning2017

    • Author(s)
      永海 昂,岸本良一,堀内 匡
    • Journal Title

      Journal of Japan Society for Fuzzy Theory and Intelligent Informatics

      Volume: 29 Issue: 2 Pages: 551-557

    • DOI

      10.3156/jsoft.29.2_551

    • NAID

      130006893402

    • ISSN
      1347-7986, 1881-7203
    • Related Report
      2016 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] A Study on Behavior Acquisition of Mobile Robot by Deep Q-network2017

    • Author(s)
      Hikaru Sasaki, Tadashi Horiuchi and Satoru Kato
    • Journal Title

      ICIC Express Letters, Part B: Applications

      Volume: 8 Pages: 727-733

    • NAID

      40021187526

    • Related Report
      2016 Research-status Report
    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] A Study on Head Gesture Recognition System using Wearable Sensor2016

    • Author(s)
      木佐省吾,堀内 匡
    • Journal Title

      Journal of Japan Society for Fuzzy Theory and Intelligent Informatics

      Volume: 28 Issue: 6 Pages: 986-991

    • DOI

      10.3156/jsoft.28.986

    • NAID

      130005292265

    • ISSN
      1347-7986, 1881-7203
    • Related Report
      2016 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Acquisition of Goal-Oriented Behaviors for Multi-Legged Robots by CPG and Reinforcement Learning2016

    • Author(s)
      石倉裕貴,岸本良一,堀内 匡
    • Journal Title

      IEEJ Transactions on Electronics, Information and Systems

      Volume: 136 Issue: 3 Pages: 333-339

    • DOI

      10.1541/ieejeiss.136.333

    • NAID

      130005132282

    • ISSN
      0385-4221, 1348-8155
    • Related Report
      2015 Research-status Report
    • Peer Reviewed / Acknowledgement Compliant
  • [Journal Article] Japanese Historical Character Recognition using Convolutional Neural Networks2015

    • Author(s)
      Hikaru Sasaki, Tadashi Horiuchi and Satoru Kato
    • Journal Title

      ICIC Express Letters, Part B: Applications

      Volume: Vol.6 Pages: 3159-3164

    • NAID

      40020667135

    • Related Report
      2015 Research-status Report
    • Peer Reviewed
  • [Presentation] 深層強化学習を用いた四脚ロボットの視覚ベースの行動獲得の実現2018

    • Author(s)
      吉木綜一郎,田中 駿,堀内匡,幸田憲明
    • Organizer
      電気学会 システム研究会,ST-18-012
    • Related Report
      2017 Annual Research Report
  • [Presentation] 深層強化学習の実機ロボットへの応用:車輪型移動ロボットの行動獲得の実現2018

    • Author(s)
      加藤大地,佐々木光,堀内匡,青代敏行
    • Organizer
      計測自動制御学会 第45回知能システムシンポジウム
    • Related Report
      2017 Annual Research Report
  • [Presentation] Vision-based Behavior Learning of Mobile Robot by Deep Q-network2017

    • Author(s)
      Sasaki Hikaru, Horiuchi Tadashi, Kato Satoru
    • Organizer
      The 12th International Conference on Innovative Computing, Information and Control
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] A Study on Vision-based Mobile Robot Learning by Deep Q-network2017

    • Author(s)
      Sasaki Hikaru, Horiuchi Tadashi, Kato Satoru
    • Organizer
      The SICE Annual Conference 2017
    • Related Report
      2017 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 深層強化学習を用いた移動ロボットの行動獲得に関する実験的考察2017

    • Author(s)
      佐々木光,堀内匡,加藤聡
    • Organizer
      電気学会 システム研究会,ST-17-014
    • Related Report
      2017 Annual Research Report
  • [Presentation] CPGと強化学習を用いた自律型四脚ロボットの行動獲得の高速化2017

    • Author(s)
      吉木綜一郎,堀内匡,幸田憲明
    • Organizer
      平成29年電気学会電子・情報・システム部門大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 深層強化学習を用いた移動ロボットの視覚ベースの行動学習2017

    • Author(s)
      佐々木光,堀内匡,加藤聡
    • Organizer
      平成29年電気学会電子・情報・システム部門大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 手指リハビリテーション動作推定のための特徴量・識別器の検討2017

    • Author(s)
      松本航,青代敏行,堀内匡
    • Organizer
      第33回ライフサポート学会大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 深層強化学習を用いた移動ロボットの視覚ベースの行動学習に関する検討2017

    • Author(s)
      佐々木光,堀内匡,加藤聡
    • Organizer
      計測自動制御学会 システム・情報部門学術講演会2017
    • Related Report
      2017 Annual Research Report
  • [Presentation] 深層強化学習を用いた四脚ロボットの視覚ベースの行動獲得の試み2017

    • Author(s)
      吉木綜一郎,田中駿,堀内匡,幸田憲明
    • Organizer
      第22回日本知能情報ファジィ学会中国・四国支部大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] 深層強化学習の実機ロボットへの応用:車輪型移動ロボットの行動獲得2017

    • Author(s)
      加藤大地,佐々木光,堀内匡,青代敏行
    • Organizer
      第22回日本知能情報ファジィ学会中国・四国支部大会
    • Related Report
      2017 Annual Research Report
  • [Presentation] CPGと強化学習を用いた自律型四脚ロボットの行動獲得の実現2016

    • Author(s)
      吉木綜一郎,足立智貴,堀内 匡
    • Organizer
      第21回日本知能情報ファジィ学会中国・四国支部大会
    • Place of Presentation
      広島市立大学(広島県広島市)
    • Year and Date
      2016-12-17
    • Related Report
      2016 Research-status Report
  • [Presentation] 深層強化学習を用いた移動ロボットの行動獲得に関する検討2016

    • Author(s)
      佐々木 光,堀内 匡,加藤 聡
    • Organizer
      第21回日本知能情報ファジィ学会中国・四国支部大会
    • Place of Presentation
      広島市立大学(広島県広島市)
    • Year and Date
      2016-12-17
    • Related Report
      2016 Research-status Report
  • [Presentation] 深層強化学習を用いた行動獲得の高速化に関する検討2016

    • Author(s)
      草野航希,佐々木 光,堀内 匡
    • Organizer
      第21回日本知能情報ファジィ学会中国・四国支部大会
    • Place of Presentation
      広島市立大学(広島県広島市)
    • Year and Date
      2016-12-17
    • Related Report
      2016 Research-status Report
  • [Presentation] CPGと強化学習を用いた自律型四脚ロボットの行動獲得に関する検討2016

    • Author(s)
      吉木綜一郎,足立智貴,堀内 匡
    • Organizer
      日本技術史教育学会 2016年度全国大会
    • Place of Presentation
      サンラポーむらくも(島根県松江市)
    • Year and Date
      2016-12-10
    • Related Report
      2016 Research-status Report
  • [Presentation] 深層強化学習を用いた車輪型移動ロボットの行動獲得に関する検討2016

    • Author(s)
      佐々木 光,堀内 匡,加藤 聡
    • Organizer
      日本技術史教育学会 2016年度全国大会
    • Place of Presentation
      サンラポーむらくも(島根県松江市)
    • Year and Date
      2016-12-10
    • Related Report
      2016 Research-status Report
  • [Presentation] 機械学習の実機ロボットへの応用2016

    • Author(s)
      堀内 匡
    • Organizer
      計測自動制御学会 第6回知能工学部会研究会「賢さの先端研究会」/第54回システム工学部会研究会
    • Place of Presentation
      フォーラムミカサ エコ(東京都千代田区)
    • Year and Date
      2016-11-07
    • Related Report
      2016 Research-status Report
  • [Presentation] CPGと強化学習を用いた自律型四脚ロボットの行動獲得2016

    • Author(s)
      吉木綜一郎,三上大志,堀内 匡
    • Organizer
      平成28年電気学会電子・情報・システム部門大会
    • Place of Presentation
      神戸大学(兵庫県神戸市)
    • Year and Date
      2016-08-31
    • Related Report
      2016 Research-status Report
  • [Presentation] 深層強化学習を用いた移動ロボットの行動獲得の試み2016

    • Author(s)
      佐々木 光,堀内 匡,加藤 聡
    • Organizer
      平成28年電気学会電子・情報・システム部門大会
    • Place of Presentation
      神戸大学(兵庫県神戸市)
    • Year and Date
      2016-08-31
    • Related Report
      2016 Research-status Report
  • [Presentation] A Shared Multi-Particle Filter for Ball Position Estimation in RoboCup Small Size League Soccer Game2016

    • Author(s)
      Toshiyuki Beppu, Shota Aoki and Tadashi Horiuchi
    • Organizer
      Proceedings of IEEE International Conference on Autonomous Robot Systems and Competitions
    • Place of Presentation
      Braganca (Portugal)
    • Year and Date
      2016-05-04
    • Related Report
      2016 Research-status Report
    • Int'l Joint Research
  • [Presentation] CPGと強化学習を用いた自律型四脚ロボットの行動獲得の試み2016

    • Author(s)
      三上大志,永海 昂,岸本良一,堀内 匡
    • Organizer
      平成28年電気学会全国大会
    • Place of Presentation
      東北大学(宮城県仙台市)
    • Year and Date
      2016-03-16
    • Related Report
      2015 Research-status Report
  • [Presentation] CPGと強化学習を用いたヘビ型ロボットの目標到達行動の自律的獲得2016

    • Author(s)
      永海 昂,岸本良一,堀内 匡
    • Organizer
      電気学会システム研究会
    • Place of Presentation
      東京トラック事業健保会館(東京都千代田区)
    • Year and Date
      2016-03-08
    • Related Report
      2015 Research-status Report
  • [Presentation] CPGと強化学習を用いたヘビ型ロボットの行動獲得に関する検討2015

    • Author(s)
      永海 昂,岸本良一,堀内 匡
    • Organizer
      第20回日本知能情報ファジィ学会中国・四国支部大会
    • Place of Presentation
      広島市立大学(広島県広島市)
    • Year and Date
      2015-12-12
    • Related Report
      2015 Research-status Report
  • [Presentation] Convolutional Neural Networkによるパターン認識と行動学習に関する基礎的検討2015

    • Author(s)
      佐々木 光,堀内 匡,加藤 聡
    • Organizer
      電気学会システム研究会
    • Place of Presentation
      新潟県立看護大学(新潟県上越市)
    • Year and Date
      2015-12-06
    • Related Report
      2015 Research-status Report
  • [Presentation] パーティクルフィルタを用いたロボカップサッカーにおける複数台カメラによる位置計測の精度向上2015

    • Author(s)
      青木翔雷,堀内 匡,片山 優,別府俊幸
    • Organizer
      第24回計測自動制御学会中国支部学術講演会
    • Place of Presentation
      岡山理科大学(岡山県岡山市)
    • Year and Date
      2015-11-28
    • Related Report
      2015 Research-status Report
  • [Presentation] CPGと強化学習を用いた四脚ロボットの複数タスクの獲得2015

    • Author(s)
      岸本良一,石倉裕貴,堀内 匡
    • Organizer
      平成27年電気学会電子・情報・システム部門大会
    • Place of Presentation
      長崎大学(長崎県長崎市)
    • Year and Date
      2015-08-26
    • Related Report
      2015 Research-status Report
  • [Presentation] CPGと強化学習を用いたヘビ型ロボットの行動獲得の試み2015

    • Author(s)
      永海 昂,岸本良一,堀内 匡
    • Organizer
      平成27年電気学会電子・情報・システム部門大会
    • Place of Presentation
      長崎大学(長崎県長崎市)
    • Year and Date
      2015-08-26
    • Related Report
      2015 Research-status Report
  • [Presentation] 畳み込みニューラルネットワークの古文書文字認識への応用2015

    • Author(s)
      佐々木 光,堀内 匡,加藤 聡
    • Organizer
      平成27年電気学会電子・情報・システム部門大会
    • Place of Presentation
      長崎大学(長崎県長崎市)
    • Year and Date
      2015-08-26
    • Related Report
      2015 Research-status Report

URL: 

Published: 2015-04-16   Modified: 2019-03-29  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi