腱駆動2足歩行ロボットの行動戦略・関節剛性の強化学習

2011 年度 研究成果報告書

• 研究課題/領域番号: 21560275
• 研究種目: 基盤研究(C)
• 配分区分: 補助金
• 応募区分: 一般
• 研究分野: 知能機械学・機械システム
• 研究機関: 明治大学
• 研究代表者: 小林 博明 明治大学, 理工学部, 教授 (60130811)
• 研究分担者: 田中 純夫 明治大学, 理工学部, 講師 (40287884)
• 連携研究者: 兵頭 和人 神奈川工科大学, 工学部, 教授 (10271371) ; 宮崎 和光 独立行政法人大学評価・学位授与機構, 准教授 (20282866)
• 研究期間 (年度): 2009 – 2011
• キーワード: 機械知能 / 知能ロボット / 制御工学

研究概要

本研究では、様々な状況でどのように行動すればよいかを、罰と報酬を用いてロボット自身に学習させる手法を検討し、それをロボットサッカーゲームでの行動学習と2足歩行ロボットの歩行機能の学習に適用した。その際、実際のロボットに適用できるように、罰を与える基準の決定法、十分学習の進んだ状態は固定状態(一定の行動戦略を使用する状態)とするなど、学習の効率化を図った。また、人間と同様にモータ(筋肉)とワイヤー(腱)で駆動される2足歩行ロボットの機構と制御について研究した。2足歩行ロボットの腱には約400N(40kgf)の力が加わるため、壊れにくい剛性調整装置を用い、腱張力の制御を行った。

研究成果

• [雑誌論文] Evaluation of the Improved Penalty Avoiding Rational Policy Making Algorithm in Real World Environment (2012)
  • 著者名/発表者名: Kazuteru Miyazaki, Masaki Itou, and Hiroaki Kobayashi
  • 雑誌名: Lecture Notes in Computer Science 巻: Vol.7196 ページ: 270-280
  • 査読あり
• [雑誌論文] Introduction of Fixed Mode States into Online Profit Sharing and Its Application to Waist Trajectory Generation of Biped Robot (2012)
  • 著者名/発表者名: Seiya Kuroda, Kazuteru Miyazaki and Hiroaki Kobayashi
  • 雑誌名: Lecture Notes in Computer Science 巻: Vol.7188 ページ: 297-308
  • 査読あり
• [雑誌論文] Threshold Learning in the Improved Penalty Avoiding Rational Policy Marking Algorithm (2010)
  • 著者名/発表者名: Kazuteru Miyazaki, Ryouhei Kobayashi, and Hiroaki Kobayashi
  • 雑誌名: Proc. of SICE Annual Conference 2010 ページ: 3240-3245
  • 査読あり
• [雑誌論文] A New Improved PenaltyAvoiding Rational Policy Making Algorithm for Keepaway with Conti-nuous State Spaces (2009)
  • 著者名/発表者名: Takuji Watanabe, Kazuteru Miyazaki, and Hiroaki Kobayashi
  • 雑誌名: Journal of Advanced Computational Intelligence and Intelligent Informatics 巻: Vol.13, No.6 ページ: 675-683
  • 査読あり
• [学会発表] 腱駆動2足歩行ロボットにおける腰軌道の強化学習への固定状態導入による効率化の研究 (2011)
  • 著者名/発表者名: 伊藤大貴、岡島勇也、田中純夫、小林博明、宮崎和光
  • 学会等名: 第54回自動制御連合講演会
  • 発表場所: 豊橋技術科学大学
  • 年月日: 2011-11-20
• [学会発表] 罰と報酬を用いる強化学習の失敗確率伝播に関する研究 (2011)
  • 著者名/発表者名: 村岡宏紀、宮崎和光、小林博明
  • 学会等名: 第54回自動制御連合講演会
  • 発表場所: 豊橋技術科学大学
  • 年月日: 2011-11-20
• [学会発表] Introduction of Fixed Mode States into Online Profit Sharing and Its Application to Waist Trajectory Generation of Biped Robot (2011)
  • 著者名/発表者名: Seiya Kuroda, Kazuteru Miyazaki and Hiroaki Kobayashi
  • 学会等名: The 9th European Workshop on Reinforcement Learning(EWRL-9)
  • 発表場所: Athens Royal Olympic Hotel
  • 年月日: 2011-09-11
• [学会発表] 腱駆動2足歩行ロボットの開発と腰軌道および腱張力の強化学習 (2010)
  • 著者名/発表者名: 黒田聖弥、日野雄太、岡島勇也、田中純夫、兵頭和人、小林博明
  • 学会等名: 第53回自動制御連合講演会
  • 発表場所: 高知市高知城ホール
  • 年月日: 2010-11-04
• [学会発表] マルチエージェント連続タスクへの改良型罰回避政策形成アルゴリズムの適用とサッカーロボットを用いた実験による評価 (2010)
  • 著者名/発表者名: 伊藤昌樹、宮崎和光、小林博明
  • 学会等名: 第53回自動制御連合講演会
  • 発表場所: 高知市高知城ホール
  • 年月日: 2010-11-04
• [学会発表] Threshold Learning in the Improved Penalty Avoiding Rational Policy Marking Algorithm (2010)
  • 著者名/発表者名: Kazuteru Miyazaki, Ryouhei Kobayashi, and Hiroaki Kobayashi
  • 学会等名: SICE Annual Conference 2010
  • 発表場所: Grand Hotel, Taipei, Taiwan
  • 年月日: 2010-08-21
• [学会発表] 腱駆動2足歩行ロボットの開発と腰軌道および腱張力の強化学習 (2010)
  • 著者名/発表者名: 黒田聖也, 平野晃一郎, 小林博明, 田中純夫
  • 学会等名: 日本機械学会関東支部第16期総会講演会
  • 発表場所: 明治大学アカデミーコモン
  • 年月日: 2010-03-10
• [学会発表] 改良型罰回避政策形成アルゴリズムへの罰基底度決定機構の導入と評価 (2010)
  • 著者名/発表者名: 小林諒平, 宮崎和光, 小林博明
  • 学会等名: 日本機械学会関東支部第16期総会講演会
  • 発表場所: 明治大学アカデミーコモン
  • 年月日: 2010-03-10
• [学会発表] 罰基底度閾値の学習機能を有する改良型罰回避政策形成アルゴリズムの提案 (2009)
  • 著者名/発表者名: 小林諒平, 宮崎和光, 小林博明
  • 学会等名: 第52回自動制御連合講演会
  • 発表場所: 大阪大学基礎工学研究科
  • 年月日: 2009-11-22
• [備考]
  • URL: http://www.messe.meiji.ac.jp/～iml/sub01/theme.html