Construction and development of the stochastic control theory for multivalued stochastic differential equations

2022 Fiscal Year Final Research Report

• Project/Area Number: 20K03754
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 12040:Applied mathematics and statistics-related
• Research Institution: Hiroshima City University
• Principal Investigator: Tanaka Teruo 広島市立大学, 情報科学研究科, 教授 (80227149)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 集合値確率過程 / 確率制御問題 / マルコフ決定過程 / 最適停止問題 / 分数型評価基準 / 預言者の不等式

Outline of Final Research Achievements

(1)For a compact convex set valued stochastic process, we have studied the theory of set valued Markov processes by using the method of embedding the a family of compact convex sets to some Banach space, and identifying a set valued Markov process and a vector valued Markov process.
(2)We have studied stochastic control problems (Markov decision processes, optimal stopping problems) under fractional criterion, proved the existence of an optimal control (optimal policy, optimal stopping rule), and given the characterization of optimal value. We also investigated the efficiency of Dinkelbach algorithm in order to seek an optimal control.
(3)We have studied the difference comparison and ratio comparison of prophet inequalities for multiparameter optimal stopping problem, and drive a universal constant and an optimization problem in order to seek the universal constant.

Free Research Field

計画数学

Academic Significance and Societal Importance of the Research Achievements

確率制御理論では、制御過程、状態過程、評価関数の3要素が重要である。従来研究は、制御過程はスカラー値又はベクトル値確率過程、状態過程は制御過程を変数として含む確率微分方程式で記述されるスカラー値又はベクトル値確率過程評価関数、制御過程と状態過程に依存する汎関数の期待値によって定式化を与え、最適制御の存在を証明し、最適値関数の特徴付けを行うことであった。
本研究は、集合値確率過程の性質を考察すること、評価関数を分数型にすることよって定式化を与え、最適制御の存在を証明し最適値関数の特徴付けを行うこと、および最適停止問題に対する預言者の不等式を考察することである。