次世代進化・適応システムの基盤研究

2003 Fiscal Year Annual Research Report

• Project/Area Number: 13480089
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 小林 重信 東京工業大学, 大学院・総合理工学研究科, 教授 (40016697)
• Co-Investigator(Kenkyū-buntansha): 木村 元 東京工業大学, 大学院・総合理工学研究科, 助手 (40302963)
• Keywords: 進化計算 / 実数値GA / 強化学習 / 分散強化学習 / α-domination戦略 / Profit Sharing / 粉末X線解析 / 蛋白質構造決定

Research Abstract

(1)進化計算に関する研究成果
・GAによる大域的最適化:探索空間に大きな谷が複数存在する複雑な適応度景観の下でGAが探索に失敗する現象を説明するために前年度提唱したUV構造仮説を前提に適応度景観を分析した結果を探索に反映させることにより、大域的最適解を効率良く見出す手法を提案し、ベンチマークにより有効性を確認した。
・交叉UNDXを用いたノンパラメトリックEM法:交叉を確率分布推定器として利用する観点に着目し、実数値GAの交叉UNDX-mをカーネル関数として利用したカーネル密度推定法とEM法を融合したノンパラメトリックEM法を提案し、文字認識問題への適用を通じて、高次元モデル推定問題において優れた推定能力を持つことを示した。
・実数値GAの実問題への適用:本研究課題を通じて確立された実数値GAの有用性を検証するとともに、実問題で自動化が要請されていた一般の化学物質の粉末結晶及び蛋白質の単結晶に対するX線回折データから化学物質及び蛋白質の3次元構造への適用を試み、実用化に向けて重要な手がかりが得られた。
(2)強化学習に関する研究成果
・最適行動変化に追従できる実時間強化学習:実ロボットの学習では環境およびロボット自身の動特性が時間的に変化してしまう状況に直面する。この問題に対処するために、重み付けされた複数の正規分布を用いた政策表現を導入して最適行動変化に追従できる実時間強化学習を提案し、環状ロボットへの適用によりその有効性を示した。
・α-domination戦略に基づく分散強化学習:多段フローシステムを分散強化学習の枠組みで定式化したとき直面する2種類のトレードオフ(利己と利他、制約と性能)を適応的に調整する新しいメカニズムとしてα-domination戦略に基づく分散強化学習を提案し、下水道制御への適用によりその有効性を確認した。
・Profit Sharingの不完全知覚環境下への拡張:経験強化型強化学習のProfit Sharingの合理性定理の新たな解釈と拡張により、不完全知覚環境下で合理性を保証する政策を効率良く学習するアルゴリズムPS-r^*を提案した。

Research Products

• [Publications] 木村元, 荒牧岳志, 小林重信: "重み付けされた複数の正規分布を用いた政策表現-最適行動変化に追従できる実時間強化学習と環状ロボットへの適用"人工知能学会論文誌. Vol.18・No.6. 316-324 (2003)
• [Publications] 宮崎和光, 小林重信: "Profit Sharingの不完全知覚環境下への拡張:PS-r*の提案と評価"人工知能学会論文誌. Vol.18・No.5. 286-296 (2003)
• [Publications] 青木圭, 木村元, 長岩明弘, 小林重信: "分散強化学習による下水送水系の制御"電気学会論文誌D. Vol.123・No.4. 462-469 (2003)
• [Publications] Kamiya, A., Kato, M., Shimada, K., Kobayashi, S.: "Fusion of Soft Computing and Hard Computing Techniques for Power Energy System"IEEE International Symposium on Computational Intelligence in Robotics and Automation. (2003)
• [Publications] Iguchi, K., Kobayashi, S.: "Determination of 3D structure from X-ray powder diffraction using GA"6th International Workshop on the Crystal Growth of Organic Materials. (2003)
• [Publications] Takahashi, O., Kobayashi, S.: "Protein Model Building Using Image Processing Technique and Optimization Algorithms"Broom 2003 International Crystallography Meetings. (2003)