Investigating and mitigating the Hawthorne effect in randomized-controlled trials for policy evaluation
| Project/Area Number |
22K12486
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 64060:Environmental policy and social systems-related
|
|---|
| Research Institution | The University of Kitakyushu |
|---|
Principal Investigator |
加藤 尊秋 北九州市立大学, 国際環境工学部, 教授 (20293079)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
牛房 義明 北九州市立大学, 経済学部, 教授 (90343433)
石原 卓典 京都先端科学大学, 経済経営学部, 准教授 (40912754)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2023: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2022: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | 無作為化比較実験 / ホーソン効果 / 社会的背景 / バイアス / ランダム化比較試験 / 政策評価 / 社会実験 |
|---|
| Outline of Research at the Start |
環境政策による効果の正確な評価のために実験群と統制群を比較するランダム化比較型フィールド実験の重要性が高まっている。しかし、社会の中で行う実験では、厳密な情報統制が難しく、実験者の意図しない形で一部の被験者の行動が変化する可能性がある。本研究では、特に、実験テーマに関連した社会的キャンペーンによって実験群参加者の行動が変わる形のホーソン効果に着目し、その発生状況の検証と対策の考案を行う。
|
| Outline of Annual Research Achievements |
第一に、既存研究のメタ分析を継続した。昨年度に収集した既存研究・報告書のうち、複数の群間を比較して政策効果を計測した英文の査読論文に焦点を当て、記載されていた76件の社会実験（一部に研究室実験含む）の記述内容を分析した。その結果、政策効果に通常時とは異なる影響を与える可能性がある社会的背景を記載した論文は、極めて限られることが明らかになった。一方、効果の計測結果をゆがめる要因としてホーソン効果に言及した論文が３編あり、うち１編はホーソン効果の強さを検証する実験も行っていた。
第二に、2012年から2014年にかけて行われた北九州市のダイナミックプライシング実験のデータをサポートベクタ回帰等の機械学習を用いて再分析した。この実験では、参加世帯とその居住者についての詳細な個人属性が取得されており、これらを用いた上で、東日本大震災後の社会的な節電要請の強さが年々弱まる条件下で消費電力量の予測精度がどう変化するか、検証した。
第三に、2024年度に実施予定のインドネシアでのフィールド実験の準備を進めた。バンドン地域の家庭によるプラスチックごみの分別回収を題材とし、実験群と統制群の設定のしかた、実験群への教育介入の内容、効果計測のための調査票の内容などを実験を担当するバンドンイスラム大学モハメッド・サトリ学部長と検討した。
これまでの研究成果を2つの学会（環境科学会、環境経済・政策学会）で発表するとともに、北九州市立大学と産業医科大学の連携講演会シリーズにおいて、ランダム化比較型試験の経験が豊富な医療関係者と同試験のあり方について議論を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
おおむね、申請書の計画に沿って作業を進められた。第一の実施事項である既存研究のメタ分析については、昨年度と比べてさらに詳細な分析を行い、成果を学会発表した。第二の実施事項である東日本大震災後の国内電力DP実験のデータ再分析については、北九州市のデータについて、これまで未利用であった多様な個人属性の情報を活用して機械学習による分析を行った。さらに、2024年度に行うインドネシアでのフィールド実験についても実施のための準備が進んでいる。
|
| Strategy for Future Research Activity |
最終年度に行うインドネシアバンドン地域でのフィールド実験は、複雑な下準備が必要であり、実施に向けてバンドンイスラム大学と密接に連携して活動していく。フィールド実験では、計画どおりに作業が進まないことも予想されるため、現地協力者のモハメッド・サトリ博士が4月に北九州に来る機会を捉えて考え方のすりあわせを行う。
|
Report
(2 results)
Research Products
(6 results)
