マルコフ環境における分散学習アルゴリズムに関する研究

1994 Fiscal Year Annual Research Report

• Project/Area Number: 06650449
• Research Institution: Tohoku University
• Principal Investigator: 阿部 健一 東北大学, 工学部, 教授 (70005403)
• Co-Investigator(Kenkyū-buntansha): 佐藤 光男 東北工業大学, 教授 (80111251)
• Keywords: 分散学習 / 学習オートマトン / マルコフ・モデル / Q-学習 / ホロンネットワーク

Research Abstract

本年度に得た主な成果はつぎの通りである。
(1)推移確率が未知なマルコフ決定過程に対する、分散学習アルゴリズムの構成法を与え、シミュレーションによってその有効性を確認した。本分散学習オートマトンとWalkinsによって提唱されているQ-Learningとの比較検討を進めた。しかし、本分散学習オートマトンの収束性の理論的保証は未解決である。
(2)移動ロボットの開発を支援するオブジェクト指向に基づくソフトウェアシステムを完成し(電気学会論文誌に採録となり、現在印刷中である)、そのシステムを用いて、障害物回避問題への学習的アプローチを試みた。すなわち、Borensteinらによる障害物回避アルゴリズムVHF法における諸パラメータを学習オートマトンによって自動調整する手法を開発し、実機による動作実験を行い、その有効性を確認した。それらの成果を、口頭による3件の発表論文にまとめた。15EA04:ケストラ-の提唱によるホロンの考えに基づく、大規模非線形システムの自律分散的な新しい固定アルゴリズム(ホロンネットワーク)を提案した。すなわち、ホロンネットワークの構造パラメータを改変する秩序化方式とよぶ新しい学習アルゴリズムを提案した。この秩序化方程式は、ホロンの二面性を備えており、ネットワークを、多様なダイナミクスの固定対象に適合するように、カオスの辺縁に保持するように自律分散的に自己組織化する。種々の固定問題についてシミュレーション実験を行い、提案したホロンネットワークが優れた汎化能力と学習特性をもつことを実証した。この成果は、国際会議で発表し、また、計測自動制御学会論文誌に採録となり現在印刷中である。

Research Products

• [Publications] N.Honma: "On Autonomous Decetralized Evolution of Holon Network" Proc.of The 9th KACC Int'l Session. 498-503 (1994)
• [Publications] 本間経康: "自律分散的適応制御によるホロンネットワークの進化について" 計測自動制御学会論文集. 31(印刷中). (1995)
• [Publications] 釜谷博行: "オブジェクト指向設計に基づいた自律型移動ロボットの開発支援システム" 電気学会論文誌C. 115-C(印刷中). (1995)