• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

A Study of Risk-Sensitive Markov Decision Processes

Research Project

Project/Area Number 19K01735
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 07060:Money and finance-related
Research InstitutionNagoya City University

Principal Investigator

MASAYUKI Kageyama  名古屋市立大学, 大学院芸術工学研究科, 准教授 (50516903)

Project Period (FY) 2019-04-01 – 2022-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2021: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2020: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2019: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Keywordsマルコフ決定過程 / リスク測度 / Uncertainty Theory
Outline of Research at the Start

人工知能論などと関連される学習理論は、その出発の原点には統計的多段決定過程、意思決定理論があり、マルコフ決定過程は重要な位置を占めている。また、近年、効用関数の期待値の最大化からリスク最小化問題へと関心がシフトしてきており、ここでは確率制御理論のなかで、リスク考慮型のマルコフ決定過程を提案する。リスク評価関数としては、リスク鋭敏型の汎関数を用いてその最適方程式の導出を目指す。さらに、具体的にリスクを計算する手法として深層学習や深層強化学習でのアプローチを検討している。

Outline of Final Research Achievements

In order to consider a model that also takes into account the uncertainty of human decision making in the market, we considered incorporating the Uncertainty Theory proposed by B. Liu (Tsinghua University) into the model, and in the empirical analysis, we estimated approximate MCMC risk values (Value at Risk and Conditional Value at Risk) using various economic indicators (big data) and compared them with theoretical values. In the empirical analysis, we estimated approximate values of risk (Value at Risk, Conditional Value at Risk) by MCMC using various economic indicators (big data) and compared them with theoretical values.
After that, we planned to study parameter estimation by reinforcement learning within the framework of Bayesian estimation, but due to a long-term hospitalization for health problems, it became difficult to continue the research, and we were unable to summarize the research results.

Academic Significance and Societal Importance of the Research Achievements

確率最適化問題において、一般的には与えられた制約条件の下で最適な政策を見つけることが主眼になることが多い。しかし、現実問題を対象とした場合、事前に正確な確率分布を同定することは不可能に近い。よって、古典的な統計学的推論では特定の確率分布の族を仮定したパラメトリックな手法が主流であった。しかし、1990年代から、応用上適応範囲が広いベイズ推定が普及し、現在は人工知能分野の研究に広く活用されていることから、旧来の計量経済学の解析手法を踏まえつつ、確率分布のパラメータがある確率分布に従う(事前分布の想定)というベイズ流の手法で経済データ(株価、為替)の推定モデルの構築が期待できる。

Report

(3 results)
  • 2021 Final Research Report ( PDF )
  • 2020 Research-status Report
  • 2019 Research-status Report
  • Research Products

    (7 results)

All 2019

All Journal Article (2 results) (of which Open Access: 2 results) Presentation (5 results) (of which Int'l Joint Research: 1 results,  Invited: 1 results)

  • [Journal Article] マルコフ決定過程による船の避難パターンを推定するモデル2019

    • Author(s)
      王琦, 影山正幸, 張景耀
    • Journal Title

      京都大学数理解析研究所講究録

      Volume: 2126 Pages: 63-66

    • Related Report
      2019 Research-status Report
    • Open Access
  • [Journal Article] マルコフ決定過程におけるリスク解析2019

    • Author(s)
      影山正幸
    • Journal Title

      京都大学数理解析研究所講究録

      Volume: 2114 Pages: 171-173

    • Related Report
      2019 Research-status Report
    • Open Access
  • [Presentation] ベイジアンマルコフ決定過程2019

    • Author(s)
      影山正幸
    • Organizer
      日本数学会秋季総合分科会
    • Related Report
      2019 Research-status Report
  • [Presentation] ノイズを含んだマルコフ決定過程について2019

    • Author(s)
      影山正幸
    • Organizer
      ファジイシステムシンポジウム
    • Related Report
      2019 Research-status Report
  • [Presentation] Bayesian decision processes with a fuzzy prior distribution2019

    • Author(s)
      影山正幸
    • Organizer
      Workshop
    • Related Report
      2019 Research-status Report
    • Invited
  • [Presentation] A new criteria in Markov decision processes2019

    • Author(s)
      Qi Wang, 影山正幸, Jingo Zhang
    • Organizer
      Stochastic Analysis, Random Fields and Integrable Probability
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] A construction of Bayesian Markov decision processes2019

    • Author(s)
      影山正幸, 布和額尓敦
    • Organizer
      動的決定モデルとその応用
    • Related Report
      2019 Research-status Report

URL: 

Published: 2019-04-18   Modified: 2023-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi