実ロボットによるDirect-Vision-Based強化学習の検証

2001 Fiscal Year Annual Research Report

• Project/Area Number: 13780295
• Research Category: Grant-in-Aid for Encouragement of Young Scientists (A)
• Research Institution: Oita University
• Principal Investigator: 柴田 克成 大分大学, 工学部, 助教授 (10260522)
• Keywords: 強化学習 / ニューラルネット / 実ロボット / 視覚センサ / 中間層 / 大域的表現

Research Abstract

リニアのモノクロ視覚センサを搭載した小型移動ロボットKheperaから、パソコンのシリアルポート経由で視覚センサ情報を読みとり、車輪への動作信号を出力するシステムを作成し、そのロボットを、黒い小さな円柱状の物体を置いた白い枠で覆われた環境中に置いて実験を行った。パソコンでは、筆者らが提案したDirect-Vision-Based強化学習に基づき、読みとった視覚センサ信号を直接ニューラルネットに入力し、強化学習に基づいてそのニューラルネットをオンラインで学習させた。与えた情報は視覚センサに映る目標物がある一定の位置に来たらもらえる報酬と見失ったときの罰のみで、画像処埋の仕方も、物体がどこに見えたらどう動かすかも一切与えなかった。このとき、視覚センサ信号の読みとりに時間がかかるため、その影響を小さくするべく、行動の学習を2単位時間先の状態評価値から学習する方法を提案し、採用した。
このロボットは、始めは乱数による行動でうろうろとするだけであったが、数千回の学習によって、視覚センサから車輪の動作までの過程を、ほとんど人の手を借りずに0からオンラインで学習し、物体に近づく動作を獲得することができた。また、視覚センサの特徴から、右前方に物体が来ると物体を見失ってしまうという問題点があるが、そのような状態の周辺では状態評価値が下がり、見失うことがないような行動を獲得した。また、学習後のニューラルネットにニューラルネットの中間層の表現を観察したところ、多少大域的な空間の情報を表現しているように見えたものの、シミュレーションの時のように、きれいに表現してはいなかった。これに関しては、ノイズの影響など今後の検討が必要である。

Research Products

• [Publications] 飯田 大, 杉坂 政典, 柴田 克成: "Direct-Vision-Based強化学習による視覚付き実移動ロボットの行動獲得"電子情報通信学会技術報告,ニューロコンピューティング研究会. (発表予定). (2002)
• [Publications] 柴田 克成, 伊藤 宏司: "局所信号を入力としたニューラルネットの中間層における適応的空間再構成と汎化"電子情報通信学会技術報告,ニューロコンピューティング研究会. (発表予定). (2002)
• [Publications] 前原 伸一, 杉坂 政典, 柴田 克成: "移動物体の捕獲行動学習におけるセンサ動作の比較"電子情報通信学会技術報告,ニューロコンピューティング研究会. (発表予定). (2002)
• [Publications] Masaru Iida, M.Sngisaka, Katsunari Shibata: "Direct Vision-Based Reiforcement Learning in a Real Robot"Proc. of Artificial Life & Robotics(AROB)7th. Vol.1. 42-45 (2002)
• [Publications] Katsunari Shibata, Masanori Sugisaka: "Dynamics of a Recurrent Neural Network Acquired through the Learning of a Context-based Attention Task"Proc. of Artificial Life & Robotics(AROB)7th. Vol.1. 152-155 (2002)
• [Publications] 飯田 大, 杉坂 政典, 柴田 克成: "Direct-Vision-Based強化学習による実移動ロボットの行動学習"計測自動制御学会情報・システム部門学術講演会2001講演論文集. 7-12 (2001)