• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Behaviors Acquisition for Multiple Tasks by Integration of Imitation Learning and Reinforcement Learning

Research Project

Project/Area Number 23560491
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Research Field System engineering
Research InstitutionMatsue National College of Technology

Principal Investigator

HORIUCHI Tadashi  松江工業高等専門学校, 電子制御工学科, 准教授 (50294129)

Co-Investigator(Kenkyū-buntansha) KATO Satoru  松江工業高等専門学校, 情報工学科, 准教授 (40342547)
Project Period (FY) 2011 – 2013
Project Status Completed (Fiscal Year 2013)
Budget Amount *help
¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2013: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2012: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2011: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Keywords知能ロボティクス / 模倣学習 / 強化学習 / 行動獲得 / 複数タスク
Research Abstract

In this research, we realized the effective acquisition of multiple behaviors for real robots by integration of imitation learning and reinforcement learning. First of all, we realized the behavior learning for single task such as 1) integration of imitation learning and behavior learning for the measuring worm robots and 2) integration of CPG and reinforcement learning for the four-legged robots. Moreover, we realized the behavior learning for multiple tasks such as 3) imitation learning of multiple behaviors for the two-armed gating robots and 4) effective acquisition of multiple behaviors by integration of CPG and reinforcement learning for the four-legged robots.

Report

(4 results)
  • 2013 Annual Research Report   Final Research Report ( PDF )
  • 2012 Research-status Report
  • 2011 Research-status Report
  • Research Products

    (55 results)

All 2014 2013 2012 2011 Other

All Journal Article (8 results) (of which Peer Reviewed: 8 results) Presentation (47 results)

  • [Journal Article] Behavior Acquisition of Six Legged Robot by Reinforcement Learning using Value Iteration2013

    • Author(s)
      K. Ishihara, Y. Ohmura and T. Horiuchi
    • Journal Title

      ICIC Express Letters

      Volume: Vol.7 Pages: 1385-1391

    • NAID

      130005456180

    • Related Report
      2013 Final Research Report
    • Peer Reviewed
  • [Journal Article] モデルベース強化学習を用いた六脚ロボットの前進行動獲得2013

    • Author(s)
      石原弘二,大村佑貴,堀内匡
    • Journal Title

      計測自動制御学会論文集

      Volume: Vol.49 Pages: 408-410

    • NAID

      10031160132

    • Related Report
      2013 Final Research Report 2012 Research-status Report
    • Peer Reviewed
  • [Journal Article] Behavior Acquisition of Six-Legged Robot by Reinforcement Learning using Value Iteration2013

    • Author(s)
      Koji Ishihara, Yuki Ohmura and Tadashi Horiuchi
    • Journal Title

      ICIC Express Letters

      Volume: 7 Pages: 1385-1391

    • NAID

      130005456180

    • Related Report
      2013 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Behavior Acquisition of Gating Robot by Reinforcement Learning using NGnet2012

    • Author(s)
      K. Ishihara, T. Nagase and T. Horiuchi
    • Journal Title

      ICIC Express Letters

      Volume: Vol.6 Pages: 1083-1089

    • NAID

      10027977621

    • Related Report
      2013 Final Research Report 2012 Research-status Report
    • Peer Reviewed
  • [Journal Article] ACOによる分割統治型TSP近似解法2012

    • Author(s)
      原 元司,梶野大輔,堀内 匡
    • Journal Title

      知能と情報

      Volume: Vol.24 Pages: 1101-1105

    • NAID

      130003368197

    • Related Report
      2012 Research-status Report
    • Peer Reviewed
  • [Journal Article] A Study on Acquisition of Walk Movement by Imitation Learning for Real Robot2011

    • Author(s)
      H. Uchida and T. Horiuchi
    • Journal Title

      ICIC Express Letters, Part B : Applications

      Volume: Vol.2 Pages: 577-582

    • NAID

      40019142742

    • Related Report
      2013 Final Research Report
    • Peer Reviewed
  • [Journal Article] A Study on Japanese Historical Character Recognition using Modular Neural Networks2011

    • Author(s)
      Tadashi Horiuchi and Satoru Kato
    • Journal Title

      International Journal of Innovative Computing, Information and Control

      Volume: Vol.7 Pages: 5003-5014

    • Related Report
      2011 Research-status Report
    • Peer Reviewed
  • [Journal Article] A Study on Acquisition of Walk Movement by Imitation Learning for Real Robot2011

    • Author(s)
      Hiroki Uchida and Tadashi Horiuchi
    • Journal Title

      ICIC Express Letters, Part B: Applications

      Volume: Vol.2 Pages: 577-582

    • NAID

      40019142742

    • Related Report
      2011 Research-status Report
    • Peer Reviewed
  • [Presentation] CPGと強化学習を用いた四脚ロボットの目標到達行動の獲得2014

    • Author(s)
      岸本良一,石倉裕貴,堀内匡
    • Organizer
      電気学会システム研究会
    • Place of Presentation
      千葉県千葉市(ST-14-016)
    • Related Report
      2013 Final Research Report
  • [Presentation] CPGと強化学習を用いた六脚ロボットの前進行動獲得の試み2013

    • Author(s)
      石倉裕貴,堀内匡
    • Organizer
      第29回ファジィシステムシンポジウム
    • Place of Presentation
      大阪府枚方市
    • Related Report
      2013 Final Research Report
  • [Presentation] CPGを用いた多脚ロボットの歩行パターン獲得に関する検討2013

    • Author(s)
      堀内匡,金津達也,石倉裕貴,石原弘二
    • Organizer
      平成25年電気学会電子・情報・システム部門大会
    • Place of Presentation
      北海道北見市
    • Related Report
      2013 Final Research Report
  • [Presentation] 前進距離測定機構を備えた六脚ロボットの行動獲得2013

    • Author(s)
      石倉裕貴,石原弘二,堀内 匡
    • Organizer
      第57回システム制御情報学会研究発表講演会
    • Place of Presentation
      兵庫県民会館(兵庫県)
    • Related Report
      2013 Annual Research Report
  • [Presentation] CPGと多目的GAを用いた四脚ロボットの歩行パターン獲得2013

    • Author(s)
      萩原涼太,石原弘二,堀内 匡
    • Organizer
      第57回システム制御情報学会研究発表講演会
    • Place of Presentation
      兵庫県民会館(兵庫県)
    • Related Report
      2013 Annual Research Report
  • [Presentation] CPGと多目的最適化を用いた四脚ロボットの歩行パターン獲得2013

    • Author(s)
      萩原涼太,石原弘二,堀内 匡
    • Organizer
      平成25年電気学会電子・情報・システム部門大会
    • Place of Presentation
      北見工業大学(北海道)
    • Related Report
      2013 Annual Research Report
  • [Presentation] 強化学習を用いた六脚ロボットの前進行動獲得に関する検討2013

    • Author(s)
      石倉裕貴,石原弘二,堀内 匡
    • Organizer
      平成25年電気学会電子・情報・システム部門大会
    • Place of Presentation
      北見工業大学(北海道)
    • Related Report
      2013 Annual Research Report
  • [Presentation] CPGを用いた多脚ロボットの歩行パターン獲得に関する検討2013

    • Author(s)
      堀内 匡,金津達也,石倉裕貴,石原弘二
    • Organizer
      平成25年電気学会電子・情報・システム部門大会
    • Place of Presentation
      北見工業大学(北海道)
    • Related Report
      2013 Annual Research Report
  • [Presentation] CPGと強化学習を用いた六脚ロボットの前進行動獲得の試み2013

    • Author(s)
      石倉裕貴,堀内 匡
    • Organizer
      第29回ファジィシステムシンポジウム
    • Place of Presentation
      大阪国際大学(大阪府)
    • Related Report
      2013 Annual Research Report
  • [Presentation] CPG-Based Locomotion Learning of Four-Legged Robot by Multi-Objective GA2013

    • Author(s)
      Ryota Hagiwara, Koji Ishihara and Tadashi Horiuchi
    • Organizer
      The Eighth International Conference on Innovative Computing, Information and Control
    • Place of Presentation
      熊本市国際交流会館(熊本県)
    • Related Report
      2013 Annual Research Report
  • [Presentation] CPGと強化学習を用いた多脚ロボットの行動獲得の試み2013

    • Author(s)
      石倉裕貴,岸本良一,堀内 匡
    • Organizer
      計測自動制御学会 第4回コンピューテーショナル・インテリジェンス研究会
    • Place of Presentation
      九州大学伊都キャンパス(福岡県)
    • Related Report
      2013 Annual Research Report
  • [Presentation] 距離測定機構を導入した六脚ロボットの前進行動獲得2013

    • Author(s)
      石倉裕貴,石原弘二,堀内 匡
    • Organizer
      平成25年電気学会全国大会
    • Place of Presentation
      名古屋大学(愛知県)
    • Related Report
      2012 Research-status Report
  • [Presentation] Kinectを用いた手先の姿勢模倣に関する検討2013

    • Author(s)
      杉谷拓哉,堀内 匡
    • Organizer
      平成25年電気学会全国大会
    • Place of Presentation
      名古屋大学(愛知県)
    • Related Report
      2012 Research-status Report
  • [Presentation] 模倣学習による尺取虫型ロボットの行動獲得2012

    • Author(s)
      畑山綱毅,堀内匡
    • Organizer
      第21回計測自動制御学会中国支部学術講演会
    • Place of Presentation
      広島県広島市
    • Related Report
      2013 Final Research Report
  • [Presentation] 運動学習プリミティブを用いたロボットアームの動作模倣2012

    • Author(s)
      宇田川大二郎,堀内匡
    • Organizer
      第21回計測自動制御学会中国支部学術講演会
    • Place of Presentation
      広島県広島市
    • Related Report
      2013 Final Research Report
  • [Presentation] 価値反復による強化学習を用いた六脚ロボットの前進行動獲得2012

    • Author(s)
      石原弘二,石倉裕貴,大村佑貴,堀内匡
    • Organizer
      第28回ファジィシステムシンポジウム
    • Place of Presentation
      愛知県名古屋市
    • Related Report
      2013 Final Research Report
  • [Presentation] 自己組織化マップを用いたクラスタリングにおける情報量規準によるクラスタ数の推定2012

    • Author(s)
      加藤聡,堀内匡
    • Organizer
      第28回ファジィシステムシンポジウム
    • Place of Presentation
      愛知県名古屋市
    • Related Report
      2013 Final Research Report
  • [Presentation] Behavior Acquisition of Six-Legged Robot by Reinforcement Learning using Value Iteration2012

    • Author(s)
      Koji Ishihara, Yuki Ohmura and Tadashi Horiuchi
    • Organizer
      The Seventh International Conference on Innovative Computing, Information and Control
    • Place of Presentation
      上海(中国)
    • Related Report
      2012 Research-status Report
  • [Presentation] 価値反復による強化学習を用いた多脚ロボットの前進行動獲得2012

    • Author(s)
      石倉裕貴,石原弘二,堀内 匡
    • Organizer
      平成24年電気学会電子・情報・システム部門大会
    • Place of Presentation
      弘前大学(青森県)
    • Related Report
      2012 Research-status Report
  • [Presentation] 多目的最適化を用いた四脚ロボットの歩行パターン獲得の試み2012

    • Author(s)
      石原弘二,堀内 匡
    • Organizer
      平成24年電気学会電子・情報・システム部門大会
    • Place of Presentation
      弘前大学(青森県)
    • Related Report
      2012 Research-status Report
  • [Presentation] 自己組織化マップを用いたクラスタリングにおける情報量規準によるクラスタ数の推定2012

    • Author(s)
      加藤 聡,堀内 匡
    • Organizer
      第28回ファジィシステムシンポジウム
    • Place of Presentation
      名古屋工業大学(愛知県)
    • Related Report
      2012 Research-status Report
  • [Presentation] 価値反復による強化学習を用いた六脚ロボットの前進行動獲得2012

    • Author(s)
      石原弘二,石倉裕貴,大村佑貴,堀内 匡
    • Organizer
      第28回ファジィシステムシンポジウム
    • Place of Presentation
      名古屋工業大学(愛知県)
    • Related Report
      2012 Research-status Report
  • [Presentation] 強化学習を用いた六脚ロボットの前進行動獲得2012

    • Author(s)
      堀内 匡
    • Organizer
      平成24年電気学会全国大会
    • Place of Presentation
      広島工業大学(広島県)
    • Related Report
      2011 Research-status Report
  • [Presentation] 模倣学習を用いた尺取虫型ロボットの複数行動獲得2011

    • Author(s)
      内田大貴,宇田川大二郎,堀内匡
    • Organizer
      第54回自動制御連合講演会
    • Place of Presentation
      愛知県豊橋市
    • Related Report
      2013 Final Research Report
  • [Presentation] 模倣学習による二脚駆動ロボットの行動獲得2011

    • Author(s)
      宇田川大二郎,内田大貴,堀内匡
    • Organizer
      第27回ファジィシステムシンポジウム
    • Place of Presentation
      福井県福井市
    • Related Report
      2013 Final Research Report
  • [Presentation] GPUによるSOM学習アルゴリズムの高速化に関する研究2011

    • Author(s)
      加藤聡
    • Organizer
      第27回ファジィシステムシンポジウム
    • Place of Presentation
      福井県福井市
    • Related Report
      2013 Final Research Report
  • [Presentation] NGnetを用いた強化学習による歩容ロボットの前進行動獲得2011

    • Author(s)
      石原弘二,永瀬孝洋,堀内匡
    • Organizer
      平成23年電気学会電子・情報・システム部門大会
    • Place of Presentation
      富山県富山市
    • Related Report
      2013 Final Research Report
  • [Presentation] Webカメラを用いた模倣学習による尺取虫型ロボットの行動獲得2011

    • Author(s)
      畑山綱毅,内田大貴,堀内匡
    • Organizer
      平成23年電気学会電子・情報・システム部門大会
    • Place of Presentation
      富山県富山市
    • Related Report
      2013 Final Research Report
  • [Presentation] Behavior Acquisition of Gating Robot by Reinforcement Learning using NGnet2011

    • Author(s)
      Koji Ishihara
    • Organizer
      The Sixth International Conference on Innovative Computing, Information and Control
    • Place of Presentation
      北九州国際会議場(福岡県)
    • Related Report
      2011 Research-status Report
  • [Presentation] Webカメラを用いた模倣学習による尺取虫型ロボットの行動獲得2011

    • Author(s)
      畑山 綱毅
    • Organizer
      平成23年電気学会電子・情報・システム部門大会
    • Place of Presentation
      富山大学(富山県)
    • Related Report
      2011 Research-status Report
  • [Presentation] NGnetを用いた強化学習による歩容ロボットの前進行動獲得2011

    • Author(s)
      石原 弘二
    • Organizer
      平成23年電気学会電子・情報・システム部門大会
    • Place of Presentation
      富山大学(富山県)
    • Related Report
      2011 Research-status Report
  • [Presentation] 模倣学習による二脚駆動ロボットの行動獲得2011

    • Author(s)
      宇田川 大二郎
    • Organizer
      第27回ファジィシステムシンポジウム
    • Place of Presentation
      福井大学(福井県)
    • Related Report
      2011 Research-status Report
  • [Presentation] GPUによるSOM学習アルゴリズムの高速実行に関する研究2011

    • Author(s)
      加藤 聡
    • Organizer
      第27回ファジィシステムシンポジウム
    • Place of Presentation
      福井大学(福井県)
    • Related Report
      2011 Research-status Report
  • [Presentation] 模倣学習を用いた尺取虫型ロボットの複数行動獲得2011

    • Author(s)
      内田 大貴
    • Organizer
      第54回自動制御連合講演会
    • Place of Presentation
      豊橋技術科学大学(愛知県)
    • Related Report
      2011 Research-status Report
  • [Presentation] NGnetを用いた強化学習による実機ロボットの前進行動獲得2011

    • Author(s)
      石原 弘二
    • Organizer
      第54回自動制御連合講演会
    • Place of Presentation
      豊橋技術科学大学(愛知県)
    • Related Report
      2011 Research-status Report
  • [Presentation] Kinectを用いた手先の姿勢模倣に関する基礎的検討

    • Author(s)
      杉谷拓哉,堀内 匡
    • Organizer
      電気学会 システム研究会
    • Place of Presentation
      新潟県立看護大学(新潟県)
    • Related Report
      2013 Annual Research Report
  • [Presentation] CPGと強化学習を用いた多脚ロボットの行動獲得に関する検討

    • Author(s)
      石倉裕貴,岸本良一,堀内 匡
    • Organizer
      電気学会 システム研究会
    • Place of Presentation
      愛知県立大学サテライトキャンパス(愛知県)
    • Related Report
      2013 Annual Research Report
  • [Presentation] 強化学習を用いた四脚ロボットの起き上がり動作獲得の試み

    • Author(s)
      永海 昂,堀内 匡
    • Organizer
      日本知能情報ファジィ学会 中国・四国支部 九州支部 合同支部大会
    • Place of Presentation
      下関市生涯学習プラザ(山口県)
    • Related Report
      2013 Annual Research Report
  • [Presentation] CPGと強化学習を用いた四脚ロボットの前進行動獲得

    • Author(s)
      岸本良一,石倉裕貴,堀内 匡
    • Organizer
      日本知能情報ファジィ学会 中国・四国支部 九州支部 合同支部大会
    • Place of Presentation
      下関市生涯学習プラザ(山口県)
    • Related Report
      2013 Annual Research Report
  • [Presentation] CPGと多目的GAを用いた四脚ロボットの滑らかな歩行動作の獲得

    • Author(s)
      萩原涼太,堀内 匡
    • Organizer
      日本知能情報ファジィ学会 中国・四国支部 九州支部 合同支部大会
    • Place of Presentation
      下関市生涯学習プラザ(山口県)
    • Related Report
      2013 Annual Research Report
  • [Presentation] デプスカメラを用いた手先の姿勢推定の高速化に関する検討

    • Author(s)
      坂本祐輔,杉谷拓哉,堀内 匡
    • Organizer
      日本知能情報ファジィ学会 中国・四国支部 九州支部 合同支部大会
    • Place of Presentation
      下関市生涯学習プラザ(山口県)
    • Related Report
      2013 Annual Research Report
  • [Presentation] CPGと強化学習を用いた四脚ロボットの目標到達行動の獲得

    • Author(s)
      岸本良一,石倉裕貴,堀内 匡
    • Organizer
      電気学会 システム研究会
    • Place of Presentation
      千葉大学(千葉県)
    • Related Report
      2013 Annual Research Report
  • [Presentation] 模倣学習による尺取虫型ロボットの行動獲得

    • Author(s)
      畑山綱毅,堀内 匡
    • Organizer
      第21回計測自動制御学会中国支部学術講演会
    • Place of Presentation
      広島工業大学(広島県)
    • Related Report
      2012 Research-status Report
  • [Presentation] 運動学習プリミティブを用いたロボットアームの動作模倣

    • Author(s)
      宇田川大二郎,堀内 匡
    • Organizer
      第21回計測自動制御学会中国支部学術講演会
    • Place of Presentation
      広島工業大学(広島県)
    • Related Report
      2012 Research-status Report
  • [Presentation] 多目的GAを用いた四脚ロボットの歩行パターン獲得

    • Author(s)
      石原弘二,堀内 匡
    • Organizer
      電気学会システム研究会
    • Place of Presentation
      近畿大学会館(大阪府)
    • Related Report
      2012 Research-status Report
  • [Presentation] 模倣学習による尺取虫型ロボットの前進行動獲得

    • Author(s)
      畑山綱毅,堀内 匡
    • Organizer
      第17回日本知能情報ファジィ学会中国四国支部大会
    • Place of Presentation
      山口大学(山口県)
    • Related Report
      2012 Research-status Report
  • [Presentation] Kinectを用いた手先の動作模倣に関する検討

    • Author(s)
      杉谷拓哉,堀内 匡
    • Organizer
      第17回日本知能情報ファジィ学会中国四国支部大会
    • Place of Presentation
      山口大学(山口県)
    • Related Report
      2012 Research-status Report

URL: 

Published: 2011-08-05   Modified: 2019-07-29  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi