均質自律移動ロボット群における機能分化に基づく適応的組織形成に関する研究

2002 Fiscal Year Annual Research Report

• Project/Area Number: 13750222
• Research Institution: Kobe University
• Principal Investigator: 大倉 和博 神戸大学, 工学部, 助教授 (40252788)
• Keywords: マルチロボットシステム / 機能分化 / 強化学習 / 人工進化 / マルチエージェントシステム / 自律システム / 協調行動

Research Abstract

均質な自律移動ロボット群において,高い自律性を与えて取り巻く環境との相互作用を通して各自が集団内で自分の役割を発見するとともに,他のロボットとの協調タイミングを獲得して作業チームを自己組織化することのできる自律ロボット群の新しい制御方式の構築を試みた.このための群に持たせるべき機能特徴は,自律的機能分化機構の埋め込みであった.これに対して,本研究では,強化学習と人工進化を計算基礎論として採用し,自律的機能分化機構の構築をはかった.ゆえに,(1)算法自体の能力向上,(2)それらのマルチロボットシステムへの適用,を中心に議論を展開した.
1.基礎論
強化学習(RL):学習しながら状態空間・行動空間を適応的に離散化するベイズ判別法を用いた.オンライン離散化機構を持つ学習器を提案した.実機実験も並行して行い,学習の頑健性・有効性を検証した.
進化型計算(EC):進化型計算の遺伝的浮動を利用した拡張法を提案した.数多くのテスト関数最適化において頑健性および探索性能の向上が確認するとともに,実問題でも有効性を確認した.
2.マルチロボットシステムへの適用
RLによるアプローチ:この環境は各ロボットにとって動的環境であるから,静的環境を想定して構築されたRLをそのまま適用しても効果的な行動獲得は期待できない.そのため,(1)1ステップ未来の環境の推移を予測する機構を追加する方法,(2)非利己的行動を獲得するためのRL機構を追加する方法を提案し,計算機実験を通して機能分化の創発を観測するとともに手法の有効性を確認した.
ECによるアプローチ:進化人工神経回路網で表現した制御器の進化ダイナミクスを測定し,その特性を明らかにした.さらに,マルチロボットシステムに適用し,システムダイナミクスを観測した.その結果,協調的な役割分担の状況が発生した後に大域的に安定な振舞いが獲得されることを観測した.

Research Products

• [Publications] 松村嘉之: "Multi-parent Recombinationを用いる進化戦略"計測自動制御学会論文集. (印刷中). (2003)
• [Publications] 山田和明: "強化学習による自律型アームロボットの協調行動獲得"計測自動制御学会論文誌. (印刷中). (2003)
• [Publications] 古川正志: "マルチエージェントシステムにおける学習エージェントの数理モデル"精密工学会誌. 69, 2. 200-204 (2003)
• [Publications] 川上賢一郎: "マルチエージェント環境における強化学習の一適用法"日本機械学会論文誌C編. 69, 677. 212-218 (2003)
• [Publications] Kazuhiro Ohkura: "Reinforcement Learning Approach to Adaptive Dispatching Rule Gener-ation in Complex Manufacturing Environment"The CIRP Journal of Manufacturing Systems. 31, 3. 189-193 (2002)
• [Publications] 山田和明: "連続な状態・行動空間の自律的分割機構を持つ強化学習法"システム制御情報学会論文誌. 15, 9. 477-485 (2002)
• [Publications] 大倉和博: "均質な自律ロボット群による協調行動獲得問題:機能分化に基づくアプローチ"システム制御情報学会論文誌. 15, 9. 451-458 (2002)
• [Publications] Yoshiaki Katada: "The effect of population size on evolutionary speed on the problems including neutral networks"Proceedings of the 6th International Conference on Complex Systems. 451-458 (2002)
• [Publications] Yoshiyuki Matsumura: "The Combination of Recombination Operators in (μ/μ, λ)-Evolution Strategies"Proceedings of the 6th International Conference on Complex Systems. 347-352 (2002)
• [Publications] Yoshiyuki Matsumura: "Advantages of Global Discrete Recombination in (μ/μ, λ)-Evolution Strategies"Proceedings of the 6th International Conference on Complex Systems. 1848-1853 (2002)
• [Publications] Yoshiaki Katada: "Evolutionary Dynamics on Neutral Networks"Proceedings of the 4th International Workshop on Emergent Synthesis. 339-346 (2002)
• [Publications] Ming Chang: "Some Experimental Observations of (μ, λ)-ES with Linear Ranking Selection on Fertility"Proceedings of the 6th International Conference on Complex Systems. 339-346 (2002)
• [Publications] Yoshiyuki Matsumura: "Computational Intelligence in Control (Chapter XV 分担)"Idea Group Publishing. 300 (2003)