Multiple testing and the distributional effects of accountability incentives in education - Steven F. Lehrer; R. Vincent Pohl; Kyungchul Song (RWI - Leibniz-Institut für Wirtschaftsforschung, 2019)
Economic theory that underlies many empirical microeconomic applications predicts that treatment responses depend on individuals' characteristics and location on the outcome distribution. Using data from a large-scale Pakistani school report card experiment, we consider tests for treatment effect heterogeneity that make corrections for multiple testing to avoid an overestimation of positive treatment effects. These tests uncover evidence of policy-relevant heterogeneous effects from information provision on child test scores. Further, our analysis reinforces the importance of preventing the inflation of false positive conclusions since over 65% of statistically significant quantile treatment effects become insignificant once corrections for multiple testing are applied. – – Die ökonomische Theorie, die vielen empirischen mikroökonomischen Anwendungen zugrunde liegt, sagt voraus, dass Behandlungseffekte von individuellen Eigenschaften und Lage auf der Ergebnisverteilung abhängen. Unter Verwendung von Daten aus einem großen pakistanischen Schulzeugnis-Experiment betrachten wir Tests zur Heterogenität von Behandlungseffekten, die Korrekturen für mehrfaches Testen vornehmen, um eine Alphafehler-Kumulierung der geschätzten positiven Behandlungseffekte zu vermeiden. Diese Tests zeigen politikrelevante heterogene Effekte aus der Informationsbereitstellung über die Testergebnisse von Kindern auf. Darüber hinaus unterstreicht unsere Analyse die Bedeutung der Verhinderung einer Alphafehler-Kumulierung von positiven Schlussfolgerungen, da über 65% der statistisch signifikanten Quantilbehandlungseffekte insignifikant werden, sobald wir Korrekturen für mehrfaches Testen anwenden.
Keywords: C12; C21; I21; L15; 330; information; student performance; accountability; quantile treatment effects; multiple testing; bootstrap tests