2006 Fiscal Year Annual Research Report
停止構造を持つマルコフ決定過程における数理モデルの研究
| Project/Area Number |
16740060
|
|---|
| Research Institution | Yuge National College of Maritime Technology |
|---|
Principal Investigator |
堀口 正之 弓削商船高等専門学校, 総合教育科, 講師 (90366401)
|
|---|
| Keywords | マルコフ決定過程 / 平均期待利得 / 適応政策 / 学習アルゴリズム / 計画数学 |
|---|
| Research Abstract |
本年度は、マルコフ決定過程における平均期待利得を評価基準とする最適化問題において、モデルの推移法則が未知の場合の解析手法とシミュレーションによる数値実験に取り組んだ。
具体的には、
・適応政策決定アルゴリズムの考察:
推移法則が未知であることから、システムでの状態観測情報のみによって各期での政策を決定していかなければならない。ニューロ・ダイナミック・プログラミングの視点に立ち、学習アルゴリズムとしてイプシロン強制による食欲政策(greedy policy)による評価関数と推移法則の推定について、その理論研究に取り組んだ。適切な条件のもと、提案した学習アルゴリズムによって逐次改定される価値関数の収束と適応政策の漸近的最適性を明らかにした。
・シミュレーションによる数値実験:
強化学習の分野で提案されている学習アルゴリズムについて比較検討を行うとともに、本研究での手法の妥当性を数値実験により考察した。Howardの自動車取替え問題に対しては、これまでに状態集合の部分集合に対する準最適政策を得ることを示した。また、別の実験モデルに対して、状態観測頻度による最尤推定量に基づく学習アルゴリズムを用いて評価関数の推定値の漸近的挙動を視覚化し、アルゴリズムの改良に取り組んだ。これらの過程で、コンピュータ特有の計算誤差や時間の増大化を回避するためのアルゴリズム改良の必要性が明らかになった。
また、停止構造を入れた推移法則未知のマルコフ決定過程についても、継続して今後の研究課題として取り組む。
|
