2006 Fiscal Year Annual Research Report
環境の時間的空間的分節化に基づく強化学習の高度化と移動ロボットへの応用
| Project/Area Number |
18500175
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Research Institution | Kyushu Institute of Technology |
|---|
Principal Investigator |
石川 眞澄 九州工業大学, 大学院生命体工学研究科, 教授 (60222973)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
章 宏 九州工業大学, 大学院生命体工学研究科, 助手 (30235709)
|
|---|
| Keywords | 知能ロボティクス / 自己組織化 / 強化学習 |
|---|
| Research Abstract |
(1)開発済みのダイナミクス学習層に加えて強化学習層を中心に手法の理論的検討を行った。移動ロボットを対象とする強化学習としてはQ学習が適していることを確認し、必要に応じてDyna-Q、適格度トレースなどの高速化手法を付け加えるのが良い。勝者モジュールの時間的空間的安定性についても検討したが、これを重視すると分節化の性能が低下することから、時間的空間的安定性については取り入れないこととする。
(2)強化学習部分のプログラム作成を行った。当初ダイナミクス学習層と強化学習層が1対1に対応するものと考えていたが、そうなる場合もあるし、そうでない場合もあることが分かってきた。従って既に作成済みのモジュラーネットワーク自己組織化マップ(mnSOM)プログラムとの接続の方法については今後の課題として残されている。
(3)移動ロボットKheperaIIあるいはその後継機であるe-puckをフィールド内で動かし、赤外線センサーおよび制御信号データを取得し、予備的実験のためのデータとした。同時に上部から移動ロボットをビデオカメラで撮影し、センサーデータに基づく移動ロボットの位置・方位の推定誤差を計算できるような環境を整えた。
(4)ダイナミクス学習層において、mnSOMを用いて移動ロボットのダイナミクスの学習および分節化を行ない、学習および分節化が可能であることを確認した。またこの過程で競合学習により分節化を行うのと比較して、計算が安定的に行えることを確認した。
(5)(1)に述べたようにダイナミクス学習層と強化学習の関係がまだ検討を要するので、強化学習層での近傍学習については今後の課題として残されている。
|
