2003 Fiscal Year Annual Research Report
共進化的環境創造による自律移動ロボットのメタレベル行動学習
| Project/Area Number |
14750362
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
近藤 敏之 東京工業大学, 大学院・総合理工学研究科, 助手 (60323820)
|
|---|
| Keywords | 強化学習 / 進化的計算 / NGnet / 関数近似器 / 自律移動ロボット / 追加学習 / 学習スキーマの抽出 |
|---|
| Research Abstract |
本研究では,高次元・連続な状態入出力を有する制御対象として自律移動ロボットをとりあげ,その感覚・行動間写像の同定に強化学習法を適用する際に問題となる,計算資源の割当て問題を解決するための一手法として,NGnetで実装したActor-Critic強化学習に学習器の構造パラメータを同時に探索する進化的recruitment戦略を導入する手法を提案した.
昨年度までに検証した提案アルゴリズムの有効性と実ロボットによる実証実験は,計測自動制御学会論文集ならびにJournal of Robotics and Autonomous Systemsに掲載された.
また,本年度は学習器の構造最適化に加えて,「いかにして複雑な学習課題を効率よく学習するか?」という,学習のスケジューリングに関する研究にも同時並行して取り組んだ.発達心理学におけるpiagetの先駆的研究を参考に,人間の身体と神経系の共進化的発達と,近年,盛んに研究が行われ始めている認知発達ロボティクスの関連に着目した.すなわち,多自由度な感覚運動連関を有する移動ロボットの制御器を強化学習で学習する際に,過去の学習事例から「学習のコツ」となる拘束条件を抽出して記憶しておき,これを未学習課題の習得に拘束条件として用いることで,無駄な試行錯誤数を削減し,その結果として強化学習を高速化することができる,「拘束条件抽出型強化学習法」を提案した.
|
Research Products
(6 results)
-
[Publications] Toshiyuki Kondo, Koji Ito: "A Reinforcemnt Learning with Evolutionary State Recruitment Strategy for Autonomous Mobile Robots Control"Journal of Robotics and Autonomous Systems. 46・2. 111-124 (2004)
-
[Publications] 近藤敏之, 伊藤紀彦, 伊藤宏司: "拘束ルール抽出機構を用いた自律移動ロボットの段階的行動学習"計測自動制御学会論文集. 40・3(掲載決定). (2004)
-
[Publications] 近藤敏之, 伊藤宏司: "進化的recruitment戦略を用いた強化学習による自律移動ロボットの制御器設計"計測自動制御学会論文集. 39・9. 857-864 (2003)
-
[Publications] Toshiyuki Kondo, Koji Ito: "A Study on Designing Robot Controllers by Using Reinforcement Learning with Evolutionary State Recruitment Strategy"Proceedings of the First International Workshop on Biologically Inspired Approaches to Advanced Information Technology. 1. 1-15 (2004)
-
[Publications] Toshiyuki Kondo, Koji Ito: "A Study on Designing Controller for Peg-pushing Robot by Using Reinforcement Learning with Adaptive State Recruitment Strategy"Proceedings of SICE Annual Conference 2003. (CD-ROM). MPI-17-2 (2003)
-
[Publications] Toshiyuki Kondo, Norihiko Itoh, Koji Ito: "An Incremental Learning using Schema Extraction Mechanism for Autonomous Mobile Robot"Proceedings of 2003 IEEE International Symposium on Computational Intelligence in Robotics and Automation. (CD-ROM). 1126-1131 (2003)
