1995 Fiscal Year Annual Research Report
マルコフ環境における分散学習アルゴリズムに関する研究
| Project/Area Number |
06650449
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
阿部 健一 東北大学, 工学部, 教授 (70005403)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
佐藤 光男 東北工業大学, 教授 (80111251)
|
|---|
| Keywords | 分散学習 / 学習オートマトン / マルコフ・モデル / Q-学習 / ホロンネットワーク |
|---|
| Research Abstract |
本年度に得た主な成果はつぎの通りである。
(1)本研究で提案している分散学習オートマトンとWatkinsによるQ-Learningとを数値実験により種々比較検討した。また、提案の分散学習オートマトンの収束性について検討した。ただし、その一部の性質は解明できたが、なお完全な証明には到っていない。
(2)様々な発見的手法を導入して、本分散学習オートマトンの収束速度を改善し、それを、下記の移動ロボットの学習による行動獲得に組み込んだ。また、先に提案したホロン・ネットワークは、学習に多大な時間を要すること、および扱える信号が0または1の2値に限定されるなどの問題があったため、学習時間を短縮するために新たな進化アルゴリズムを提案し、連続値信号も扱えるよう拡張した。この成果をまとめ、学術誌に発表した。
(3)未知環境で動作する移動ロボットの自律的行動の生成問題についてシミュレーションによる実験的検討を行った。すなわち、その上部にフォトセンサを想定した移動ロボットに対し、光源に向かう行動の獲得を分散学習によって行う方法を提案し、その有効性をシミュレーション実験によって検証した。その成果を研究会等で発表した。なお、シミュレーションは、先に開発した移動ロボット開発支援システムの機能の一部を用いて行った。
(4)移動ロボットの実機による学習実験を進めた。
(5)おわりに:本研究の目的であるマルコフ環境下での分散学習については、ほぼ所期の成果を得た。しかし、移動ロボットの学習による行動獲得の研究と通して、マルコフ・モデルによるアプローチの限界が明らかになった。非マルコフ的な環境での学習問題の分散学習機構の開発が本研究の次のステージとして重要と考える。
|
-
[Publications] N. Honma: "On Autonomous Decetralized Evolution of Holon Network" Proc. of The 9th KACC Int′l Session. 498-503 (1994)
-
[Publications] 釜谷博行: "オブジェクト指向設計に基づいた自律型移動ロボットの開発支援システム" 電気学会論文誌. 115‐C. 819-828 (1995)
-
[Publications] 本間経康: "自律分散的適応制御によるホロンネットワークの進化について" 計測自動制御学会論文誌. 31. 908-915 (1995)
-
[Publications] 本間経康: "ホロンネットワークの創発的進化による非線形システムのダイナミクス推定" 計測自動制御学会論文誌. 31. 1739-1745 (1995)
-
[Publications] 釜谷博行: "学習オートマトンによる移動ロボットナビゲ-タのパラメータ自動調整" 電気学会論文誌. 115-C. 1570-1571 (1995)
-
[Publications] H. Honma: "Adaptive Evolution of Holon Networks by an Autonomous Decentralized Method" International Symposium on Artificial Life and Robotics. (1996)
