2011 Fiscal Year Annual Research Report
| Project/Area Number |
20680007
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
杉山 将 東京工業大学, 大学院・情報理工学研究科, 准教授 (90334515)
|
|---|
| Keywords | 非定常環境適応 / 共変量シフト / 重点サンプリング / 重要度重み / ロボット制御 / 強化学習 / 政策反復法 / 政策探索法 |
|---|
| Research Abstract |
従来の機械学習の研究では,データが生成される環境が定常的であるという大前提のもとで理論やアルゴリズムが構築されてきた.しかし,近年の応用分野では定常性が成り立たない場合が多い.そこで本研究では,環境の変化に対応するための基礎理論,および,実用的なアルゴリズム開発を行うとともに,様々な応用分野を開拓する.
本年度は,昨年度までに開発してきた重要度重み付けに基づく共変量シフト適応アルゴリズムをロボット制御問題に応用する.これまで研究代表者らは,政策反復学習法と呼ばれる強化学習の枠組みにおいて重要度重み付けに基づく適応学習法を開発してきたが,政策反復学習法の枠組みでは,ロボット制御で特に重要となる連続制御信号を直接的に扱うことが困難である.そこで,近年注目されている新たな強化学習の枠組みである直接政策学習法に重要度重み付けを適用することにより,連続制御信号を効率よく扱える適応強化学習手法を開発した.そして,そのロボット制御課題を通して提案手法の有効性を実証した.
また,本研究プロジェクトの一連の研究成果をまとめた英語単行本をMIT Press社から出版するとともに,共変量シフト適応のためのソフトウェアを
http://sugiyama-www.cs.titech.ac.jp/~sugi/index-jp.html
にて公開した.
|
