次世代進化・適応システムの基盤研究

• 研究課題/領域番号: 13480089
• 研究種目: 基盤研究(B)
• 配分区分: 補助金
• 応募区分: 一般
• 研究分野: 知能情報学
• 研究機関: 東京工業大学
• 研究代表者: 小林 重信 東京工業大学, 大学院・総合理工学研究科, 教授 (40016697)
• 研究分担者: 木村 元 東京工業大学, 大学院・総合理工学研究科, 助手 (40302963)
• 研究期間 (年度): 2001 – 2003
• 研究課題ステータス: 完了 (2003年度)
• 配分額: 13,600千円 (直接経費: 13,600千円); 2003年度: 2,900千円 (直接経費: 2,900千円); 2002年度: 2,900千円 (直接経費: 2,900千円); 2001年度: 7,800千円 (直接経費: 7,800千円)
• キーワード: 進化計算 / 実数値GA / UV構造 / k-tablet構造 / 強化学習 / Actor-Critic / 4足歩行ロボット / 分散強化学習 / α-domination戦略 / Profit Sharing / 粉末X線解析 / 蛋白質構造決定 / UV構造仮説 / actor-critic / マルチエージェントシステム / 進化システム / 遺伝的アルゴリズム / 多目的GA / 適応システム / マルチエージェント強化学習 / 報酬共有の合理性

研究概要

1.進化計算に関する研究成果
(1)非線形性・悪スケール性・多峰性をもった関数最適化問題に対してロバストな実数値GAとして,外挿的交叉EDX,交叉的突然変異ANSを提案した.(2)探索空間に大きな谷が複数存在して各谷に有力な局所解が存在する大域的多峰性下でGAが探索に失敗する現象を説明するUV構造仮説を提唱し,UV現象を回避する世代交代モデルISMを提案した.(3)稜構造に代表される悪スケール構造の一般化であるk-tablet構造に対応できる交叉LUNDX-mを提案した.(4)クラスタリング手法をベースにk-tablet構造を同定する方法を提案した.
2.強化学習に関する研究成果
(1)マルチエージェント強化学習における報酬共有の合理性について理論的に考察し,不合理な挙動を回避するための条件を明らかにした.(2)多数の行動を扱う強化学習の性能向上を図るために,確率的2分木の行動選択を用いたActor-Criticアルゴリズムを提案した.(3)actorの行動選択に正規分布を用いるアルゴリズムを提案し,8次元連続状態・連続行動の4足ロボットの歩行動作獲得問題に適用して,適切な歩行を効率よく学習できることを示した.(4)多段フローシステムを分散強化学習の枠組みで定式化したとき直面する2種類のトレードオフ(利己と利他,制約と性能)を適応的に調整する共有意思決定を提案した.

研究成果

• [文献書誌] 木村元, 小林重信: "確率的2分木の行動選択を用いたActor-Criticアルゴリズム:多数の行動を扱う強化学習"計測自動制御学会論文誌. 37. 1147-1155 (2001)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] 池田心, 小林重信: "GAの探索におけるUV現象とUV構造仮説"人工知能学会論文誌. 17. 239-246 (2002)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] 木村元, 荒牧岳志, 小林重信: "重み付けされた複数の正規分布を用いた政策表現-最適行動変化に追従できる実時間学習と環状ロボットへの適用"人工知能学会論文誌. 18. 316-324 (2003)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] 青木圭, 木村元, 長岩明弘, 小林重信: "分散強化学習による下水送水系の制御"電気学会論文誌D. 123. 462-469 (2003)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] 佐久間淳, 小林重信: "高次元k-tablet構造を考慮した実数値GA〜隠れ変数上の交叉LUNDX-mの提案と評価"人工知能学会論文誌. 19. 28-37 (2004)
  • 説明: 「研究成果報告書概要(和文)」より
• [文献書誌] Kamiya, A., Kawai, K., Ono, I., Kobayashi, K.: "Theoretical Proof of Edge Search Strategy Applied to Power Plant Star-up Scheduling"IEEE Trans. On Systems, Man and Cybernetics -Part B : Cybernetics. Vol.32,No.3. 316-331 (2002)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Kimura, H., Yamashita, T., Kobayashi, S.: "Reinforcement Learning of Walking Behavior for a Four-Legged Robot"40th IEEE Conference on Decision and Control (CDC2001). 411-416 (2001)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Sato, M., Kobayashi, S.: "Average-Reward Reinforcement Learning for Variance Penalized Markov Decision Problems"Proc. of the 18th Int. Conf. on Machine Learning. 473-480 (2001)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Takahashi, O., Kobayashi, S.: "An Adaptive Neighboring Search Using Crossover-Like Mutation For Multimodal Function Optimization"IEEE International Conference on Systems, Man and Cybernetics. 261-267 (2001)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Miyazaki, K., Kobayashi, S.: "On the Rationality of Profit Sharing in Multi-agent Reinforcement Learning"Proc. of the 4th Int. Conf. on Computational Intelligence and Multimedia Applications. 123-127 (2001)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Miyazaki, K., Tsuboi, S., Kobayashi, S.: "Reinforcement Learning for Penalty Avoiding Policy Making"Proc. of the 7th Int. Conf. on Information Systems Analysis and Cynthesis. Vol 3. 40-44 (2001)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Ikeda, K., Kita, H., Kobayashi, S.: "Failure of Pareto-Based MOEAS : Does Non-Dominated Really Mean Near to Optimal?"Proc. of Congress on Evolutionary Computation. 957-962 (2001)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Sakuma, J., Kobayashi, S.: "Extrapolation-Directed Crossover for Real -coded GA : Overcoming Deceptive Phenomena by Extrapolative Search"Proc. of Congress on Evolutionary Computation. 655-662 (2001)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Ikeda, K., Kobayashi, S.: "Deterministic Multi-step Crossover Fusion: A handy Crossover Composition for GAs"Proc. of 7th Parallel Problem Solving from Nature. 162-171 (2002)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Sakuma, J., Kobayashi, S.: "Non-parametric Expectation-Maximization for Gaussian Mixture"Proc. of 9th Int. Conf. on Neural Information Processing. (2002)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Sakuma, J., Kobayashi, S.: "k-tablet Structure and Crossover on Latent Variables for Real-coded GA ; Proc"Proc. Of Int. Conf. on Genetic Algorithms. 404-411 (2002)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Kamiya, A., Kato, M., Shimada, K., Kobayashi, S.: "Fusion of Soft Computing and Hard Computing Techniques for Power Energy System"IEEE International Symposium on Computational Intelligence in Robotics and Automation, 2003. (2003)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] Miyazaki, K., Kobayashi, S.: "Rationality of Reward Sharing in Multi-agent Reinforcement Learning"Journal of New Generation Computing. Vol.91 No.2. 157-172 (2001)
  • 説明: 「研究成果報告書概要(欧文)」より
• [文献書誌] 木村元, 荒牧岳志, 小林重信: "重み付けされた複数の正規分布を用いた政策表現-最適行動変化に追従できる実時間強化学習と環状ロボットへの適用"人工知能学会論文誌. Vol.18・No.6. 316-324 (2003)
• [文献書誌] 宮崎和光, 小林重信: "Profit Sharingの不完全知覚環境下への拡張:PS-r*の提案と評価"人工知能学会論文誌. Vol.18・No.5. 286-296 (2003)
• [文献書誌] 青木圭, 木村元, 長岩明弘, 小林重信: "分散強化学習による下水送水系の制御"電気学会論文誌D. Vol.123・No.4. 462-469 (2003)
• [文献書誌] Kamiya, A., Kato, M., Shimada, K., Kobayashi, S.: "Fusion of Soft Computing and Hard Computing Techniques for Power Energy System"IEEE International Symposium on Computational Intelligence in Robotics and Automation. (2003)
• [文献書誌] Iguchi, K., Kobayashi, S.: "Determination of 3D structure from X-ray powder diffraction using GA"6th International Workshop on the Crystal Growth of Organic Materials. (2003)
• [文献書誌] Takahashi, O., Kobayashi, S.: "Protein Model Building Using Image Processing Technique and Optimization Algorithms"Broom 2003 International Crystallography Meetings. (2003)
• [文献書誌] 池田心, 小林重信: "GAの探索におけるUV現象とUV構造仮説"人工知能学会論文誌. Vol.17, No.3. 239-246 (2002)
• [文献書誌] Sakuma, J., Kobayashi, S.: "k-tablet Structure and Crossover on Latent Variables for Real-coded GA"Proc. Int. Conf. on Genetic Algorithms. 404-411 (2002)
• [文献書誌] Sakuma, J., Kobayashi, S.: "Non-parametric Expectation-Maximization for Gaussian Mixture"Proc. of 9^<th> Int. Conf. on Neural Information Processing. 517-522 (2002)
• [文献書誌] 木村元, 山下透, 小林重信: "強化学習による4足ロボットの歩行動作の獲得"電気学会電子情報システム部門誌. Vol.122-C, No.3. 330-337 (2002)
• [文献書誌] 宮崎和光, 坪井創吾, 小林重信: "罰回避政策形成アルゴリズムの改良とオセロゲームへの応用"人工知能学会論文誌. Vol.17,No.5. 548-556 (2002)
• [文献書誌] 青木圭, 木村元, 小林重信: "協調型分散強化学習による上水道送水系の制御"第30回知能システムシンポジウム. 155-160 (2003)
• [文献書誌] Hajime Kimura, Toru Yamashita, Shigenobu Kobayashi: "Reinforcement Learning of Walking Behavior for a Four-Legged Robot"40th IEEE Conference on Decision and Control. 411-416 (2001)
• [文献書誌] Kazuteru Miyazaki, Shigenobu Kobayashi: "Rationality of Reward Sharing in Multi-agent Reinforcement Learning"Journal of New Generation Computing. Vol.91, No.2. 157-172 (2001)
• [文献書誌] Kokoro Ikeda, Hajime Kita, Shigenobu Kobayashi: "Failure of Pareto-Based MOEAS : Does Non-Dominated Really Mean Near to Optimal?"Congress on Evolutionary Computation(CEC2001). 957-962 (2001)
• [文献書誌] Jun Sakuma, Shigenobu Kobayashi: "Extrapolation-Directed Crossover for Real-coded GA : Overcoming Deceptive Phenomena by Extrapolative Search"Proc. of Congress on Evolutionary Computation. 655-662 (2001)
• [文献書誌] 木村 周平, 小野 功, 喜多 一, 小林 重信: "交叉の設計指針に基づくUNDXの拡張:ENDXの提案と評価"計測自動制御学会論文誌. Vol.37, No.1. 1162-1171 (2001)
• [文献書誌] 高橋治, 木村周平, 小林重信: "交叉的突然変異による適応的近傍探索-騙しのある多峰性関数の最適化-"人工知能学会誌. Vol.16, No.1. 175-184 (2001)
• [文献書誌] 木村 元, 小林 重信: "確率的2分木の行動選択を用いたActor-Criticアルゴリズム:多数の行動を扱う強化学習"計測自動制御学会誌. Vol.37, No.12. 1147-1155 (2001)
• [文献書誌] 佐藤 誠, 木村 元, 小林 重信: "報酬の分散を推定するTDアルゴリズムとMean-Variance強化学習法の提案"人工知能学会誌. Vol.16, No.3-F. 353-362 (2001)