Bitte verwenden Sie diesen Link, um diese Publikation zu zitieren, oder auf sie als Internetquelle zu verweisen: https://hdl.handle.net/10419/302180 
Erscheinungsjahr: 
2024
Schriftenreihe/Nr.: 
Ruhr Economic Papers No. 1097
Verlag: 
RWI - Leibniz-Institut für Wirtschaftsforschung, Essen
Zusammenfassung: 
While results from individual Randomized Controlled Trials (RCTs) often do not hold beyond their setting, the accumulation of many RCTs can be used to guide policy. But how many studies are required to confidently generalize? Our paper examines construct validity, an often neglected yet important element affecting generalizability. Construct validity deals with how the operationalization of a treatment corresponds to the broader construct it intends to speak to. The universe of potential operationalizations is referred to as the design space. As an empirical example, we review 45 microfinance RCTs to estimate the size of the design space and to underpin that variations in the treatment operationalization matter for the observed effects. We also show that most papers nevertheless generalize from the operationalized treatment to a broad construct, mostly without acknowledging underlying assumptions, and many lack a transparent reporting of construct validity-relevant features.
Zusammenfassung (übersetzt): 
Während die Ergebnisse einzelner randomisierter kontrollierter Studien (RCTs) oft nicht über ihren Rahmen hinaus Gültigkeit haben, kann die Ansammlung vieler RCTs als Richtschnur für die Politik dienen. Aber wie viele Studien sind erforderlich, um eine sichere Verallgemeinerung zu erreichen? Unser Beitrag untersucht die Konstruktvalidität, ein oft vernachlässigtes, aber wichtiges Element, das die Verallgemeinerbarkeit beeinflusst. Bei der Konstruktvalidität geht es darum, inwieweit die Operationalisierung einer Behandlung dem breiteren Konstrukt entspricht, das sie ansprechen soll. Das Universum der möglichen Operationalisierungen wird als Designraum bezeichnet. Als empirisches Beispiel überprüfen wir 45 Mikrofinanz-RCTs, um die Größe des Designraums abzuschätzen und um zu untermauern, dass Variationen in der Operationalisierung der Behandlung für die beobachteten Effekte von Bedeutung sind. Wir zeigen auch, dass die meisten Arbeiten dennoch von der operationalisierten Behandlung auf ein breites Konstrukt verallgemeinern, meist ohne die zugrundeliegenden Annahmen anzuerkennen, und dass es vielen an einer transparenten Darstellung der für die Konstruktvalidität relevanten Merkmale fehlt.
Schlagwörter: 
Causal inference
generalizability
meta-science
microfinance
JEL: 
A11
C18
C93
D04
O12
O16
Persistent Identifier der Erstveröffentlichung: 
ISBN: 
978-3-96973-274-8
Dokumentart: 
Working Paper

Datei(en):
Datei
Größe
1.26 MB





Publikationen in EconStor sind urheberrechtlich geschützt.