Bitte verwenden Sie diesen Link, um diese Publikation zu zitieren, oder auf sie als Internetquelle zu verweisen: https://hdl.handle.net/10419/123694 
Erscheinungsjahr: 
2015
Schriftenreihe/Nr.: 
Ruhr Economic Papers No. 589
Verlag: 
Rheinisch-Westfälisches Institut für Wirtschaftsforschung (RWI), Essen
Zusammenfassung: 
When properly implemented, Randomized Controlled Trials (RCT) can achieve a high degree of internal validity. Yet, if an RCT is to inform policy interventions that extend beyond the experimental population, it is critical to establish external validity. In this paper, we first present a theoretical framework of external validity and identify the potential hazards that compromise generalizing results beyond the studied population, namely Hawthorne effects, general equilibrium effects, specific sample problems, and special care in the provision of the randomized treatment. Second, we reviewed all RCTs published in leading economic journals between 2009 and 2014 and scrutinized the way they deal with external validity. Based on a set of objective indicators, we find that many published RCTs do not discuss hazards to external validity and do not provide the information that is necessary to assess potential problems. Apparently, external validity is not an important matter of concern during the peer review process. To conclude, we call for a more systematic approach to report the results of RCTs, including external validity dimensions.
Zusammenfassung (übersetzt): 
Randomisierte kontrollierte Studien (RCTs) weisen bei sorgfältiger Implementierung ein hohes Maß an interner Validität auf. Sobald jedoch die Ergebnisse eines RCT auch auf andere Politikinterventionen verallgemeinert werden soll, bekommt die so genannte externe Validität eine zentrale Bedeutung. Dieses Papier stellt in einem ersten Schritt einen theoretischen Rahmen zur Betrachtung von externer Validität vor. Dabei werden potenzielle Probleme identifiziert, die die Generalisierung von Ergebnissen aus RCTs über die eigentliche Stichprobe hinaus beeinträchtigen können. Wir unterscheiden zwischen Hawthorne Effekten, generellen Gleichgewichtseffekten, Problemen spezifischer Stichproben und der Randomisierung geschuldeten Besonderheiten im Treatment. In einem weiteren Schritt untersuchen wir im Rahmen eines Systematic Reviews alle RCTs, die zwischen 2009 und 2014 in den führenden ökonomischen Fachzeitschriften publiziert wurden, auf ihren Umgang mit externer Validität. Unter Zuhilfenahme ausschließlich objektiver Indikatoren stellen wir fest, dass viele der publizierten Papiere weder die Probleme externer Validität diskutieren noch die notwendigen Informationen zur Abschätzung dieser durch den Leser bereitstellen. Externe Validität scheint demnach während des Peer-Review-Verfahrens von untergeordneter Bedeutung zu sein. Wir plädieren deshalb für ein Berichtswesen bei der Publikation von RCTs, das den verschiedenen Dimensionen externer Validität Rechnung trägt.
Schlagwörter: 
systematic review
internal validity
external validity
randomized controlled trials
JEL: 
C83
C93
Persistent Identifier der Erstveröffentlichung: 
ISBN: 
978-3-86788-684-0
Dokumentart: 
Working Paper

Datei(en):
Datei
Größe
480.29 kB





Publikationen in EconStor sind urheberrechtlich geschützt.