1994 Fiscal Year Annual Research Report
強化学習を用いたサッカーのシューティングロボットの目的行動の獲得
| Project/Area Number |
06650301
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
浅田 稔 大阪大学, 工学部, 助教授 (60151031)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
細田 耕 大阪大学, 工学部, 助手 (10252610)
|
|---|
| Keywords | 強化学習 / 行動獲得 / 視覚 / 簡単なタスクからの学習 / 状態-行動空間のずれ |
|---|
| Research Abstract |
ロボティクスや人口知能研究の究極の目的は,変動する環境との相互作用を通して,自ら作業計画を立て,遂行する自律的なエージェントを実現させることである.これまでの典型的な知能ロボットでは,処理の階層化による段階的処理で構成されており,このような直列的な処理系では,外界の変動に対して非常に弱いシステムであることが指摘され,行動規範型のロボットが出現しつつある.これらの行動規範型のロボットは環境変動に対応し,反射的な行動を上手にこなすが,目的行動そのものを獲得し生成する能力に欠けている.本研究では,強化学習を用いて,ロボット自らが,環境との相互作用を通して,目的行動を獲得し生成する能力を実現することを目的として,実際のロボットシステム(サッカーのシューティングロボット)を構築し,強化学習による目的行動獲得能力の解析ならびに評価を行なった.
強化学習を実際のロボットシステムに適用する際の問題点として,「学習の高速化」及び「状態空間と行動空間のずれ」が挙げられる.前者に対しては,簡単なタスクからの学習LEM(Learning Easy Missions)を提案し,状態空間の大きさの指数オーダーから線形オーダーに学習時間が低減できることを示した.また,後者に対しては,行動空間を状態空間に合わせて再構成することにより解決した.以上をサッカーロボットが,ボールを発見し,ドリブルして,ゴールにシュートする複雑で動的なタスクに適用した.まず,コンピュータシミュレーションにより,学習の高速化を検証した.また,移動ロボットにカラーTVカメラを搭載した実機を使った実験で学習結果を検証した.ビデオノイズによる多少の画像処理の失敗に拘らず、シュートすることができ,本手法の有効性・ロバスト性を確認できた.
|
Research Products
(5 results)
-
[Publications] M.Asada,S.Noda,S.Tawaratsumida,and K.Hosada: "Vision-Based Behavior Acquisition For A Shooting Rubot by Using A Reinforcemeut Learning" Proc.of IAPR/IEEE Workshop on Visual Behaviors. 112-118 (1994)
-
[Publications] M.Asada,S.Nada,S.Tawaratsumida,and K.Hosoda: "Purposive Behavicr Acquisition On A Real Robot By Vision-Based Reinforcemeut Learning" Proc.of MLC-COLT(Machine Learning Confernce and Computer Learning Theory)Workshop on Robot Learning. 1-9 (1994)
-
[Publications] M.Asada,E.Uchibe,S.Noda,S.Tawaratsumida and K.Hosoda: "Vision-Based Reinforcemeut Learning For Cocrdination Of Soccer Playing Behaviors" Proc.of AAAI-94 Workshop on AI,Artificial Life,and Entertainment. 16-21 (1994)
-
[Publications] M.Asada,E.Uchibe,S.Noda,S.Tawaratsumida and K.Hosoda: "Coordination Of Multiple Behaviors Acquired By Vision-Based Reinforcemeut Leaning" Proc.of IEEE/RSJ/GI International Conference on Intelligent Robots and Systems. 917-924 (1994)
-
[Publications] 浅田,野田,俵積田,細田: "「視覚に基づく強化学習によるロボットの行動獲得」" 日本ロボット学会誌. vol.13,no.1. 68-74 (1995)
