階層的線形モデルを用いた単一事例実験のメタ分析における公表バイアスに関する研究

2014 Fiscal Year Annual Research Report

• Project/Area Number: 24730530
• Research Institution: Joetsu University of Education
• Principal Investigator: 奥村 太一 上越教育大学, 学校教育研究科(研究院), 准教授 (90547035)
• Project Period (FY): 2012-04-01 – 2015-03-31
• Keywords: 階層的線形モデル / 単一事例実験 / メタ分析

Outline of Annual Research Achievements

階層的線形モデル（HLM）による効果量dの推定値が公表バイアスによってどのような影響を受けるのか検証するために、次のようなシミュレーション実験を行った。
（１）5000ケース分のABデザインのデータを発生させる（２）各ケースにつき効果量dを算出し、検定を行う（３）5％水準の片側検定でdが有意であったケースだけを対象として、HLMによるdの推定を行う（４）HLMによるdの推定値と、dの真値の差をバイアスとする
ただし、ABデザインのデータの発生には、各2水準の4要因を操作した。すなわち、効果量d (0 or 1)、級内相関ρ (0.1 or 0.2)、ラグ1の系列相関AR(1) (0 or 0.2)、フェーズ全体での観測時点数 (10 or 20) である。これには、Moeyaert et al. (2014)、Parker et al. (2005)、Shadish & Sullivan (2011) などの実データの分析結果やレビューを参考にした。
その結果、d=0、n=10の組み合わせの場合が最もバイアスが大きく、dの推定値は真値よりも2.0程度も大きかった。一方、d=1、n=20の場合が最もバイアスが小さかったが、それでもdの推定値と真値の差は0.5程度はあった。さらに、他の条件が等しければ、級内相関ρ、系列相関ARが大きいほどバイアスがわずかに大きい傾向にあった。
以上の結果は、統計的に有意であるかどうかをもとに公表バイアスが生じている場合、処置の効果を大幅に過大評価してしまうことを示している。特に、本当は処置の効果がある場合 (d=1) よりもむしろ効果がない場合 (d=0) の方が、バイアスの影響は大きく、報告されている事例研究だけをメタ分析することで誤った結論を導く危険が高いと言える。