学習・適応戦略を持つ生産システムエージェントの研究

2002 Fiscal Year Annual Research Report

• Project/Area Number: 13650141
• Research Institution: Asahikawa National College of Technology
• Principal Investigator: 古川 正志 旭川工業高等専門学校, 教授 (70042091)
• Keywords: 自律分散型生産システム / マルチエージェントシステム / 機械学習 / Q学習 / 適応システム

Research Abstract

学習・適応戦略を持つ生産システムエージェントを,(1)理論的な面からとして学習エージェントの報酬の性質,(2)生産システムのシミュレーション実験からの自律運転,の二つの観点に基づいて研究を実施した.
理論的な面では,昨年度におこなった学習エージェントのモデルを発展させ,かつ複数のエージェントが学習を行なう時のシステムの報酬の関係を導きだした.すなわち,学習エージェントAjは自身の評価c(Aj)をシステムからの報酬KjΔC(Aj)によって増加させるように行動を決定することを導きだし,この定式化から確率的学習オートマトン及びQ学習との関係を得た.ここで,ΔC(Aj)はシステムのエージェントAjに関する増分である.この研究成果は精密工学会誌において公表を行なった.また,各エージェントの報酬をテーラー展開し,連立方程式を作成すると報酬間の関係が連立方程式の一般解から導きだされることを明らかにし,この結果,報酬間にノード,ループ,サイクルの関係が生じ,定性的にここからエージェント間の競合・協調が生じることを示した.この研究成果はCIRA(知識とロボットに関する国際学会:於神戸)で公表予定である.
シミュレーションでは,物流システムのピッキングカートにQ学習による学習・適応戦略をインプリメントしたものを想定し,セル型工場におけるピッキングカートの自律搬送シミュレーションを実施した.このピッキングカートには衝突センサーの換わりにブルーツースを想定し,ピッキングカートとそれに最近接の機械間で交信を行なわせ,ピッキングカート周辺の状況を得られるように想定した.実際にシミュレーションを行なった数値計算実験では,従来行なっていたQ学習によるAGVの自律搬送実験と同じ効果が得られることが分かった.この研究成果は2003年度精密工学会北海道支部講演会において公表した.

Research Products

• [Publications] 古川正志, 渡辺美知子, 池田将晴, 木下正博, 嘉数侑昇: "Q学習によるAGVの移動物体衝突回避"日本機械学会論文集C編. 第69巻4号(掲載決定). (2003)
• [Publications] 古川正志, 渡辺美知子, 大倉和博, 嘉数侑昇: "マルチエージェントシステムにおける数理モデル"精密工学会誌. 69巻2号. 200-204 (2003)
• [Publications] 木下正博, 渡辺美知子, 川上敬, 古川正志, 嘉数侑昇: "複数ブロックエージェントの自律行動獲得に関する研究"精密工学会誌. 68巻10号. 1303-1308 (2002)
• [Publications] Masashi Furukawa, Asako Onuma, Michiko Watanabe: "Development of a Design Simulator for the Logistic CIM System Based on Agent-Oriented Concept"12^<th> International conference on Flexible Autonomous & Intelligent Manufacturing (FAIM2002). ISBN:3-486-27036-2. 371-380 (2002)
• [Publications] 池田将晴, 渡辺美知子, 古川正志: "強化学習によるマップカートのガイドソフトウェアの開発"2002年度精密工学会北海道支部学術講演会講演論文集. 65-66 (2002)
• [Publications] Masashi Furukawa, Michiko Watanabe, Masaharu Ikeda: "Indirect Approach to Solving AGVS Collision Avoidance Problem Based on Q-learning"4^<th> International Workshop on Emergent Synthesis (IWES'01). 153-157 (2002)