2019 Fiscal Year Research-status Report
| Project/Area Number |
18K03343
|
|---|
| Research Institution | Aoyama Gakuin University |
|---|
Principal Investigator |
市原 直幸 青山学院大学, 理工学部, 准教授 (70452563)
|
|---|
| Project Period (FY) |
2018-04-01 – 2022-03-31
|
| Keywords | マルコフ決定過程 / 粘性ハミルトン・ヤコビ方程式 / エルゴード問題 / 一般化主固有値 |
|---|
| Outline of Annual Research Achievements |
今年度は，吸収状態をもつマルコフ決定過程に対する最適性方程式の解の長時間挙動について考察した．具体的には，高々可算集合を状態空間とする離散時間の有限期間マルコフ決定過程に対して，値関数の満たす最適性方程式（非線形差分方程式）の解の長時間挙動を，付随するエルゴード問題の一般化主固有値により特徴づけた．特に，適当な初期条件のもとで，最適性方程式の解は一般化主固有値の値に応じて以下に述べる３種類の異なる振る舞いを示すことがわかった．
(1) エルゴード問題の一般化主固有値が負ならば，最適性方程式の解は定常問題の最小解に収束する．
(2) エルゴード問題の一般化主固有値が正ならば，最適性方程式の解はエルゴード問題のある解に収束する．
(3) エルゴード問題の一般化主固有値が零ならば，最適性方程式の解は正の無限大に対数オーダーで発散する．
このことから，終端時刻が十分大きい場合の有限期間マルコフ決定過程は，吸収状態の存在により最適戦略が大きく変化することがわかった．上記の結果は，吸収状態をもたないマルコフ決定過程に対する最適性方程式の解の長時間挙動と大きく異なることに注意する．実際，吸収状態をもたない場合には(1)と(3)は起こらず，解の長時間挙動は一般化主固有値の値に関わらず(2)と同様の振る舞いをすることが示される．
なお，今年度に考察した問題は，2次増大ハミルトニアンを持つ粘性ハミルトン・ヤコビ方程式の初期値・境界値問題に対する解の長時間挙動について既に知られている結果の離散版と考えることができる．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初目標としていた粘性ハミルトン・ヤコビ方程式の離散化の一つとして，適切なクラスのマルコフ決定過程に関する新たな結果が得られたため．
|
| Strategy for Future Research Activity |
今年度の成果を踏まえて，より広いクラスの粘性ハミルトン・ヤコビ方程式に対する離散化の方法を探る．
|
| Causes of Carryover |
研究集会等の中止により，当初予定されていた出張がキャンセルされたため．未使用分は次年度における旅費として使用する予定である．
|
