Acquisition of Action Strategies by Deep Reinforcement Learning: Recovery Planning for Company's Earthquake and Tsunami Damage

2022 Fiscal Year Final Research Report

• Project/Area Number: 20K15001
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 25030:Disaster prevention engineering-related
• Research Institution: The University of Tokyo
• Principal Investigator: Ogawa Yoshiki 東京大学, 空間情報科学研究センター, 講師 (70794296)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: マルチエージェントモデル / 深層強化学習 / サプライチェーン / 災害復旧 / 行動戦略

Outline of Final Research Achievements

We proposed a multi-agent simulation model at the level of individual firms to model the phenomena from supply chain disruption to recovery in the event of a disaster. The model enables us to grasp the situation of individual firms and changes in the industrial structure of the supply chain, which could not be grasped in the past studies. Furthermore, based on proposed agent model, we developed a learning frame in which the corporate agents acquire optimal action strategies by themselves using reinforcement learning techniques so that they can act with human-like intelligence. This enables simulations that are close to reality, and enables analysis of time-series changes in supply chains after actual disasters.

Free Research Field

空間情報学

Academic Significance and Societal Importance of the Research Achievements

地震・津波災害を対象とした経済的な被害予測に関する計算技術はこれまでも見られたが，日本全国の各企業をサプライチェーンネットワーク全体で防災工学・数理経済学に基づき計算し，その結果を用いて，企業の行動戦略を復旧状況に応じて最適化しようとする手法は，これまでに前例がない。したがって，個別企業のサプライチェーンに関するビックデータを用いて数理モデルと深層強化学習で精緻なシミュレーションモデルを目指す点で本研究成果の学術的意義は大きく、今後本研究が進展し、手法が確立することで洪水などの水害などへの応用も可能になり社会的波及効果も期待できる。