実ロボットによるDirect-Vision-Based強化学習の検証

2002 Fiscal Year Annual Research Report

• Project/Area Number: 13780295
• Research Institution: Oita University
• Principal Investigator: 柴田 克成 大分大学, 工学部, 助教授 (10260522)
• Keywords: 強化学習 / ニューラルネット / 自律学習 / Direct-Vision-Based強化学習 / 移動ロボット / 視覚センサ / 押し動作 / 創発

Research Abstract

昨年度、リニアの視覚センサ付きの小型移動ロボットを用いて、Direct-Vision-Based強化学習に基づき、単に視覚センサ信号をニューラルネットを入力し、円柱状の黒い物体に到達した際の報酬を元に、強化学習を行うだけで、物体に到達する行動を獲得できることを示した。
しかしながら、視覚センサはリニアタイプのものである上、入力の信号数は64と少なかった。そこで、今年度は、説得力を増すため、まず、リニアの視覚センサの代わりに、超小型CCDカメラを装着して、二次元画像で信号数1536という状況で、同様に物体到達運動が学習できるかを検証した。そして、試行回数の増大もほとんどなく、学習できることを確認した。
しかしながら、これでも、単に到達するだけでは画像上の黒い部分の重心を画面の中心で捕らえ、前進するという簡単な制御でも実現でき、タスクとして簡単であるため、より難しいタスクとして、横に寝かせた細長い直方体の物体を押すタスクを行った。この場合、単に到達するだけでなく、バランスを取って押すこと、さらには、単に物体に近づくだけでなく、その後に押すことを考慮して近づくことが必要となる。その結果、単に、物体を押したときに報酬を与え、見失ったときに罰を与えて数千試行の学習をさせるだけで、物体に近づいて押すことができるようになった。そして、画像上の物体の重心が同一であっても、物体の向きによって、近づき方も異なったものとなった。また、当初は、直方体の長辺に対して垂直に近づいて押すようになることを想定していたが、実際の学習後の行動は、予想とは異なっており、物体の滑りも考慮し、当初想定していた経路よりも短時間で物体を押して報酬を得るようになった。このように、画像処理も制御方法もタスクに関する情報も一切与えずに、物体を押す動作を学習によって獲得できることを示したのは、筆者が知る限り、世界でも本研究が初めてである。

Research Products

• [Publications] Masaru Iida, Masanori Sugisaka, Katsunari Shibata: "Application of Direct-Vision-Based Reinforcement Learning to a Real Mobile Robot with a CCD camera"Proc. of AROB (Int'l Symp. on Artificial Life and Robotics) 8th. Vol.1. 86-89 (2003)
• [Publications] Masaru Iida, Masanori Sugisaka, Katsunari Shibata: "Direct-Vision-Based Reinforcement Learning to a Real Mobile Robot"Proc. of Int'l Conf. of Neural Information Processing Systems (ICONIP '02). Vol.1. 2556-2560 (2002)
• [Publications] 飯田大, 杉坂政典, 柴田克成: "Direct-Vision-Based強化学習による小型CCDカメラ付き移動ロボットの行動獲得"第21回計測自動制御学会九州支部学術講演会予稿集. 109-112 (2002)
• [Publications] 柴田克成: "強化学習とロボットの知能-あめとむちで知能は作れるか?-,"第16回人工知能学会全国大会論文集 パネルディスカッション「強化学習とその諸相」. (CD-ROM). 2A1-05 (2002)
• [Publications] Katsunari Shibata, Koji Ito: "Hidden Representation after Reinforcement Learning of Hand Reaching Movement with Variable Link Length"Proc. of IJCNN (Int'l Conf. on Neural Networks) 2003. (発表予定). (2003)
• [Publications] Katsunari Shibata, Koji Ito: "Effect of Force Load in Hand Reaching Movement Acquired by Reinforcement Learning"Proc. of Int'l Conf. of Neural Information Processing Systems (ICONIP '02). Vol.3. 1444-1448 (2002)