|
本年度は、マルコフ決定過程における未知の推移法則の推定方法について、状態の逐次観測から得られるデータセットに基づいた区間ベイズ推定法を用いて、推移確率行列の区間表現を得るための計算手法の考察を行った。推定される推移確率行列は、それぞれの成分が事後区間として表され、データ観測数に依存した高次多項方程式の解として特徴づけられる。その解の導出方法について、ニュートンラフソン法と不完全ベータ関数により、数値近似解を得る計算アルゴリズムを示した。また、不完全ベータ関数によって表される高次方程式の解法と分数計画問題における双対問題の解法との関係についても明らかにした。これらの手法を元にして、事後区間表現を構成するためのデータテーブルを準備しておくことで、観測から得る任意のデータセットに対して区間推移確率行列を容易に得ることが出来る。これは、区間推定マルコフ決定過程を構成する上で有益な計算手法を明らかにしたと言える。
また、事後区間の推定方法として、確信区間に基づく区間表現方法についても考察を行った。具体的には、事後測度区間によるパーセンタイルを求め、確信度に応じた推移確率行列の事後区間表現について区間の上限および下限を不完全ベータ関数によって表現できることも示した。
研究集会および学会にてこれらの成果を発表した。推移確率行列が区間で表現されるマルコフ決定過程において、状態観測から事後区間を推定する逐次学習を行っていく新たな適応型学習の手法を確立する上で重要な成果である。
|
