Rural electrification, the credibility revolution, and the limits of evidence-based policy - Jörg Ankel-Peters; Christoph M. Schmidt (RWI - Leibniz-Institut für Wirtschaftsforschung, 2023)
The toolkit of the so-called credibility revolution dominates empirical economics, with its promise of causal identification to improve scientific knowledge and ultimately policy. By examining the case of rural electrification in the Global South, this opinion paper exposes the limits of this evidence-based policy paradigm. The electrification literature boasts many studies using the credibility revolution toolkit, but at the same time several systematic reviews demonstrate that the evidence is divided between very positive and muted effects. This bifurcation presents a challenge to the science-policy interface, where policymakers, lacking the resources to sift through the evidence, may be drawn to the results that serve their (agency's) interests. The interpretation is furthermore complicated by unresolved methodological debates circling around external validity as well as selective reporting and publication decisions. These features, we argue, are not particular to the electrification literature but inherent to the credibility revolution toolkit. We propose a humbler evaluation approach that refrains from undue generalization and rather focusses on improving the specific program under evaluation. – – Das Instrumentarium der so genannten Glaubwürdigkeitsrevolution dominiert die empirische Ökonomie mit ihrem Versprechen, durch die Identifizierung von Kausalzusammenhängen wissenschaftliche Erkenntnisse und letztlich die Politik zu verbessern. Durch die Untersuchung des Falles ländlicher Elektrifizierung im Globalen Süden zeigt dieses Positionspapier die Grenzen des evidenzbasierten Politikparadigmas auf. In der Literatur zur Elektrifizierung finden sich zahlreiche Studien, die das Instrumentarium der Glaubwürdigkeitsrevolution nutzen, doch gleichzeitig zeigen mehrere systematische Übersichten, dass die Evidenz zwischen sehr positiven und gedämpften Auswirkungen aufgeteilt ist. Diese Zweiteilung stellt eine Herausforderung für die Schnittstelle zwischen Wissenschaft und Politik dar, da die politischen Entscheidungsträger, die nicht über die Mittel verfügen, um die Beweise zu sichten, von den Ergebnissen angezogen werden können, die ihren (Behörden-)Interessen dienen. Die Interpretation wird außerdem durch ungelöste methodologische Debatten um die externe Validität sowie durch selektive Berichterstattung und Veröffentlichungsentscheidungen erschwert. Diese Merkmale, so argumentieren wir, sind keine Besonderheit der Elektrifizierungsliteratur, sondern dem Instrumentarium der Glaubwürdigkeitsrevolution inhärent. Wir schlagen einen bescheideneren Evaluierungsansatz vor, der von unangemessenen Verallgemeinerungen absieht und sich stattdessen auf die Verbesserung des zu evaluierenden spezifischen Programms konzentriert.
Keywords: O13; D78; 330; Energy access; evidence-based decision-making; systematic reviews; meta-science