Lost in the design space? Construct validity in the microfinance literature - Lise Masselus; Christina Petrik; Jörg Ankel-Peters (RWI - Leibniz-Institut für Wirtschaftsforschung, 2024)
While results from individual Randomized Controlled Trials (RCTs) often do not hold beyond their setting, the accumulation of many RCTs can be used to guide policy. But how many studies are required to confidently generalize? Our paper examines construct validity, an often neglected yet important element affecting generalizability. Construct validity deals with how the operationalization of a treatment corresponds to the broader construct it intends to speak to. The universe of potential operationalizations is referred to as the design space. As an empirical example, we review 45 microfinance RCTs to estimate the size of the design space and to underpin that variations in the treatment operationalization matter for the observed effects. We also show that most papers nevertheless generalize from the operationalized treatment to a broad construct, mostly without acknowledging underlying assumptions, and many lack a transparent reporting of construct validity-relevant features. – – Während die Ergebnisse einzelner randomisierter kontrollierter Studien (RCTs) oft nicht über ihren Rahmen hinaus Gültigkeit haben, kann die Ansammlung vieler RCTs als Richtschnur für die Politik dienen. Aber wie viele Studien sind erforderlich, um eine sichere Verallgemeinerung zu erreichen? Unser Beitrag untersucht die Konstruktvalidität, ein oft vernachlässigtes, aber wichtiges Element, das die Verallgemeinerbarkeit beeinflusst. Bei der Konstruktvalidität geht es darum, inwieweit die Operationalisierung einer Behandlung dem breiteren Konstrukt entspricht, das sie ansprechen soll. Das Universum der möglichen Operationalisierungen wird als Designraum bezeichnet. Als empirisches Beispiel überprüfen wir 45 Mikrofinanz-RCTs, um die Größe des Designraums abzuschätzen und um zu untermauern, dass Variationen in der Operationalisierung der Behandlung für die beobachteten Effekte von Bedeutung sind. Wir zeigen auch, dass die meisten Arbeiten dennoch von der operationalisierten Behandlung auf ein breites Konstrukt verallgemeinern, meist ohne die zugrundeliegenden Annahmen anzuerkennen, und dass es vielen an einer transparenten Darstellung der für die Konstruktvalidität relevanten Merkmale fehlt.
Keywords: A11; C18; C93; D04; O12; O16; 330; Causal inference; generalizability; meta-science; microfinance