• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Investigating and mitigating the Hawthorne effect in randomized-controlled trials for policy evaluation

Research Project

Project/Area Number 22K12486
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 64060:Environmental policy and social systems-related
Research InstitutionThe University of Kitakyushu

Principal Investigator

加藤 尊秋  北九州市立大学, 国際環境工学部, 教授 (20293079)

Co-Investigator(Kenkyū-buntansha) 牛房 義明  北九州市立大学, 経済学部, 教授 (90343433)
石原 卓典  京都先端科学大学, 経済経営学部, 准教授 (40912754)
Project Period (FY) 2022-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Keywords無作為化比較実験 / ホーソン効果 / 社会的背景 / バイアス / ランダム化比較試験 / 政策評価 / 社会実験
Outline of Research at the Start

環境政策による効果の正確な評価のために実験群と統制群を比較するランダム化比較型フィールド実験の重要性が高まっている。しかし、社会の中で行う実験では、厳密な情報統制が難しく、実験者の意図しない形で一部の被験者の行動が変化する可能性がある。本研究では、特に、実験テーマに関連した社会的キャンペーンによって実験群参加者の行動が変わる形のホーソン効果に着目し、その発生状況の検証と対策の考案を行う。

Outline of Annual Research Achievements

第一に、既存研究のメタ分析を継続した。昨年度に収集した既存研究・報告書のうち、複数の群間を比較して政策効果を計測した英文の査読論文に焦点を当て、記載されていた76件の社会実験(一部に研究室実験含む)の記述内容を分析した。その結果、政策効果に通常時とは異なる影響を与える可能性がある社会的背景を記載した論文は、極めて限られることが明らかになった。一方、効果の計測結果をゆがめる要因としてホーソン効果に言及した論文が3編あり、うち1編はホーソン効果の強さを検証する実験も行っていた。
第二に、2012年から2014年にかけて行われた北九州市のダイナミックプライシング実験のデータをサポートベクタ回帰等の機械学習を用いて再分析した。この実験では、参加世帯とその居住者についての詳細な個人属性が取得されており、これらを用いた上で、東日本大震災後の社会的な節電要請の強さが年々弱まる条件下で消費電力量の予測精度がどう変化するか、検証した。
第三に、2024年度に実施予定のインドネシアでのフィールド実験の準備を進めた。バンドン地域の家庭によるプラスチックごみの分別回収を題材とし、実験群と統制群の設定のしかた、実験群への教育介入の内容、効果計測のための調査票の内容などを実験を担当するバンドンイスラム大学モハメッド・サトリ学部長と検討した。
これまでの研究成果を2つの学会(環境科学会、環境経済・政策学会)で発表するとともに、北九州市立大学と産業医科大学の連携講演会シリーズにおいて、ランダム化比較型試験の経験が豊富な医療関係者と同試験のあり方について議論を行った。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

おおむね、申請書の計画に沿って作業を進められた。第一の実施事項である既存研究のメタ分析については、昨年度と比べてさらに詳細な分析を行い、成果を学会発表した。第二の実施事項である東日本大震災後の国内電力DP実験のデータ再分析については、北九州市のデータについて、これまで未利用であった多様な個人属性の情報を活用して機械学習による分析を行った。さらに、2024年度に行うインドネシアでのフィールド実験についても実施のための準備が進んでいる。

Strategy for Future Research Activity

最終年度に行うインドネシアバンドン地域でのフィールド実験は、複雑な下準備が必要であり、実施に向けてバンドンイスラム大学と密接に連携して活動していく。フィールド実験では、計画どおりに作業が進まないことも予想されるため、現地協力者のモハメッド・サトリ博士が4月に北九州に来る機会を捉えて考え方のすりあわせを行う。

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • Research Products

    (6 results)

All 2023 Other

All Int'l Joint Research (2 results) Presentation (4 results)

  • [Int'l Joint Research] バンドンイスラム大学(インドネシア)

    • Related Report
      2023 Research-status Report
  • [Int'l Joint Research] バンドンイズラム大学(インドネシア)

    • Related Report
      2022 Research-status Report
  • [Presentation] 社会情勢と無作為化比較試験のバイアス:節電を中心としたレビュー2023

    • Author(s)
      加藤尊秋
    • Organizer
      環境経済・政策学会SHEEPSワークショップ2023年大会
    • Related Report
      2023 Research-status Report
  • [Presentation] 社会実験RCTにおけるバイアスと対策の試み2023

    • Author(s)
      加藤尊秋
    • Organizer
      産業医科大学&北九州市立大学合同講演会「バイオインフォマティクスとIT」第2回
    • Related Report
      2023 Research-status Report
  • [Presentation] 環境配慮行動に関する社会実験の意義と課題2023

    • Author(s)
      加藤尊秋
    • Organizer
      環境科学会2023年会シンポジウム2
    • Related Report
      2023 Research-status Report
  • [Presentation] 自発的選択を促すインセンティブ設計:ダイナミック・プライシングを用いた節電のフィールド実験2023

    • Author(s)
      石原卓典,木戸大道,依田高典
    • Organizer
      環境科学会2023年会シンポジウム2
    • Related Report
      2023 Research-status Report

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi