A study of the effectiveness of non-experimental estimators of policy effects and their application to Evidence Based Policy Making (EBPM)

2023 Fiscal Year Final Research Report

• Project/Area Number: 20K01448
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 06010:Politics-related
• Research Institution: Ehime University
• Principal Investigator: Fukui Hideki 愛媛大学, 法文学部, 教授 (00304642)
• Project Period (FY): 2020-04-01 – 2024-03-31
• Keywords: 公共政策 / 計量分析 / EBPM（証拠に基づく政策形成） / 非実験的統計的推定手法 / モンテカルロ・シミュレーション / 疑似自然実験

Outline of Final Research Achievements

This study, “A study of the effectiveness of non-experimental estimators of policy effects and their application to Evidence-Based Policy Making (EBPM),” examines the effectiveness of non-experimental statistical estimation methods, which are crucial for policy evaluation in areas where it is challenging to estimate effects using experimental techniques, using both data generated by Monte Carlo simulations and large-scale observational data related to U.S. aviation policy. Specifically, we performed resampling using multiple matching methods and conducted causal estimation of policy effects using pre- and post-sampling data to examine their application to EBPM.

Free Research Field

政治学（政策分析・政策実施研究）

Academic Significance and Societal Importance of the Research Achievements

ランダム化比較試験（RCT）は因果効果推定の標準的方法である。だが、RCTの実施には困難を伴うこともある。その場合、観察データを用いるが、観察データでは交絡変数の影響が処置群・対照群で異なりうるという問題がある。この問題への対処法の一つとして開発されたのがマッチング・重み付け手法である。だが、各種マッチング・重み付け手法等をどのような分析やデータに活用するのが適切か、明確な整理はなされていない。各種マッチング手法のどれが交絡変数の影響を処置群・対照群間でより有効に均質化させ得るのか、その結果、政策効果推定からどの程度バイアスが減ずるのかを検証した点に本研究の学術的・社会的価値がある。