2001 年度実績報告書

階層形強化学習機構の自己組織化に関する研究

研究課題

研究課題/領域番号	13650480
研究機関	東北大学
研究代表者	阿部健一東北大学, 大学院・工学研究科, 教授 (70005403)
研究分担者	田中明東北大学, 大学院・工学研究科, 助手 (10323057)
キーワード	強化学習 / 部分観測マルコフ環境 / Q学習 / 階層型Q学習 / 学習オートマトン / スッチングQ学習 / ラベリングQ学習 / リカレントニューラルネットワーク
研究概要	本研究では、部分観測マルコフ決定過程(POMDP)環境に柔軟に対応できる強化学習について研究を進めている。さきに、ラベリングQ(LQ)学習およびスイッチングQ(SQ)学習の2つのアルゴリズムを提案した。前者は単一のエージェントからなる簡単な構造のアルゴリズムであるが、ある種のPOMDP環境でうまく学習を行うことができる。また、後者は階層型強化学習法(HQ学習)の一種で、多数のQモジュールを階層型学習オートマトンによって切り替えるもので、やや複雑なPOMDP環境に適用可能である。本研究では、この2つの学習アルゴリズムの改良を図るとともに、より複雑な構造のHQ学習の開発を行った。また、これらのアルゴリズムを観測および行動のそれぞれが連続値を取るような、より実際的な問題に適用するために、リカレントニューラルネットワーク(RNN)についても基礎的な考察を進めている。これまでに得られた結果は下記の通りである。 1)ノイズ環境でもその学習性能が保証できるよう、SQ学習の改良を図った。WieringらによるHQ学習とシミュレーション実験よる比較実験では、本アルゴリズムがより良好な学習性能を持つことを確認した。 2)さきの研究で、ラベルの変更を促すためのCHANGEと呼ぶ条件とラベル付けのためのラベリング関数の2つの基本要素を導入し、LQ学習の一般的枠組みを与えた。本研究では、一つの基本要素の組み合わせを変えることでLQ学習の性能の一層の向上を図った。 3)WieringらのHQ学習の拡張として提案されたSunらのSSS法の改良を図り、修正SSS法と呼ぶ新たなアルゴリズムを開発した。このアルゴリズムはSSS法に比べより学習性能に優れ、さらに複雑なPOMDP環境への適用が期待できる。 4)SRNと呼ぶRNNに対し、統計的近似学習法(SAL)と呼ぶ新たな学習法を提案した。SALによって、従来の方法ではその学習がうまく行えない非線形性の強い問題が精度よく学習できることをシミュレーションにより確認した。

研究成果

(7件)

すべてその他

すべて文献書誌 (7件)

[文献書誌] N.Honnma: "Stochastic Analysis of Chaos Dynamic in Recurrent Neural Networks"Pro. of IFSA/NAFIPS 2001. 298-303 (2001)
[文献書誌] H.Kamaya: "Hierarchical Self-Segmentation Algorithms for Q-learning in Non-Markovian Environments"2nd International Conference on Software Engineering, Artificial Intelligence, Networking & Parallel / Distributed Computing. 55-62 (2001)
[文献書誌] H.Y.Lee: "Flexible Labeling Mechanism in LQ-learning for Maze Problems"Proc. of the International Conference on Control, Automation and Systems. 5-8 (2001)
[文献書誌] M.Sakai: "Control of Chaos Dynamics in Jordan Recurrent Neural Networks"Proc. of the International Conference on Control, Automation and Systems. 292-295 (2001)
[文献書誌] M.Sakai: "Learning method by a statistical approximation for simultaneous recurrent networks"Proc. of AROB 7^<th> 2002. Vol.1. 16-18 (2002)
[文献書誌] M.Sakai: "Complexity Control Method of Chaos Dynamics in Recurrent Neural Networks"Trans. on Control, Automation and Systems Engineering (ICASE). (In press). (2002)
[文献書誌] 釜谷博行: "部分観測マルコフ環境における階層型強化学習-スイッチングQ-学習の提案"電気学会論文誌C. (印刷中). (2002)

2001 年度 実績報告書

階層形強化学習機構の自己組織化に関する研究

研究代表者

阿部 健一 東北大学, 大学院・工学研究科, 教授 (70005403)

研究成果

[文献書誌] N.Honnma: "Stochastic Analysis of Chaos Dynamic in Recurrent Neural Networks"Pro. of IFSA/NAFIPS 2001. 298-303 (2001)

[文献書誌] H.Kamaya: "Hierarchical Self-Segmentation Algorithms for Q-learning in Non-Markovian Environments"2nd International Conference on Software Engineering, Artificial Intelligence, Networking & Parallel / Distributed Computing. 55-62 (2001)

[文献書誌] H.Y.Lee: "Flexible Labeling Mechanism in LQ-learning for Maze Problems"Proc. of the International Conference on Control, Automation and Systems. 5-8 (2001)

[文献書誌] M.Sakai: "Control of Chaos Dynamics in Jordan Recurrent Neural Networks"Proc. of the International Conference on Control, Automation and Systems. 292-295 (2001)

[文献書誌] M.Sakai: "Learning method by a statistical approximation for simultaneous recurrent networks"Proc. of AROB 7^<th> 2002. Vol.1. 16-18 (2002)

[文献書誌] M.Sakai: "Complexity Control Method of Chaos Dynamics in Recurrent Neural Networks"Trans. on Control, Automation and Systems Engineering (ICASE). (In press). (2002)

[文献書誌] 釜谷博行: "部分観測マルコフ環境における階層型強化学習-スイッチングQ-学習の提案"電気学会論文誌C. (印刷中). (2002)

2001 年度実績報告書

阿部健一東北大学, 大学院・工学研究科, 教授 (70005403)