Please use this identifier to cite or link to this item: http://hdl.handle.net/10419/170702
Authors: 
Peters, Jörg
Langbein, Jörg
Roberts, Gareth
Year of Publication: 
2017
Series/Report no.: 
Ruhr Economic Papers 716
Abstract: 
When properly implemented, Randomized Controlled Trials (RCT) achieve a high degree of internal validity. Yet, if an RCT is to inform policy, it is critical to establish external validity. This paper systematically reviews all RCTs conducted in developing countries and published in leading economic journals between 2009 and 2014 with respect to how they deal with external validity. Following Duflo, Glennerster, and Kremer (2008), the hazards to external validity we scrutinize are Hawthorne effects, general equilibrium effects, specific sample problems, and special care in treatment provision. Based on a set of objective indicators, we find that the majority of published RCTs does not discuss these hazards and many do not provide the necessary information to assess potential problems. The paper calls for including external validity dimensions in a more systematic reporting on the results of RCTs. This may create incentives to avoid overgeneralizing findings and help policy makers to interpret results appropriately.
Abstract (Translated): 
Bei sorgfältiger Implementierung weisen randomisierte kontrollierte Studien ein hohes Maß an interner Validität auf. Sollen die Ergebnisse eines RCT jedoch Politik informieren, ist es entscheidend externe Validität zu etablieren. Dieses Papier untersucht systematisch alle RCTs, die in Entwicklungsländern durchgeführt und in führenden ökonomischen Fachzeitschriften zwischen 2009 und 2014 publiziert wurden, auf ihren Umgang mit externer Validität. In Anlehnung an Duflo, Glennerster und Kremer (2008) untersuchen wir folgenden Gefahren für externe Validität: Hawthorne Effekte, generelle Gleichgewichtseffekte, Probleme spezifischer Stichproben und der Randomisierung geschuldeten Besonderheiten im Treatment. Unter Zuhilfenahme objektiver Indikatoren stellen wir fest, dass ein Großteil der publizierten Papiere nicht die Probleme externer Validität diskutiert und viele nicht die notwendigen Informationen zur Abschätzung dieser durch den Leser bereitstellen. Wir plädieren deshalb für ein Berichtswesen bei der Publikation von RCTs, das den verschiedenen Dimensionen externer Validität Rechnung trägt. Dadurch könnten Anreize entstehen, die zu starke Verallgemeinerung verhindern und Politikern helfen, Ergebnisse angemessen zu interpretieren.
Subjects: 
policy evaluation
systematic review
internal validity
external validity
randomized controlled trials
JEL: 
C83
C93
Persistent Identifier of the first edition: 
ISBN: 
978-3-86788-835-6
Document Type: 
Working Paper
Social Media Mentions:

4



Files in This Item:
File
Size
552.38 kB





Items in EconStor are protected by copyright, with all rights reserved, unless otherwise indicated.