Do economists replicate? - Nathan Fiala; Florian Neubauer; Jörg Peters (RWI - Leibniz-Institut für Wirtschaftsforschung, 2022)
Reanalyses of empirical studies and replications in new contexts are important for scientific progress. Journals in economics increasingly require authors to provide data and code alongside published papers, but how much does the economics profession indeed replicate? This paper summarizes existing replication definitions and reviews how much economists replicate other scholars' work. We argue that in order to counter incentive problems potentially leading to a replication crisis, replications in the spirit of Merton's 'organized skepticism' are needed - what we call 'policing replications'. We review leading economics journals to show that policing replications are rare and conclude that more incentives to replicate are needed to reap the fruits of rising transparency standards. – – Reanalysen empirischer Studien und Replikationen in neuen Kontexten sind wichtig für den wissenschaftlichen Fortschritt. In wirtschaftswissenschaftlichen Fachzeitschriften wird von den Autoren zunehmend verlangt, neben den veröffentlichten Arbeiten auch Daten und Codes zur Verfügung zu stellen. Aber wie viel wird in den Wirtschaftswissenschaften tatsächlich repliziert? Dieser Artikel fasst bestehende Replikationsdefinitionen zusammen und gibt einen Überblick darüber, inwieweit Wirtschaftswissenschaftler die Arbeit anderer Wissenschaftler replizieren. Wir argumentieren, dass zur Vermeidung von Anreizproblemen, die zu einer Replikationskrise führen könnten, Replikationen im Sinne von Mertons "organisierter Skepsis" erforderlich sind - was wir "policing replications" nennen. Wir überprüfen führende wirtschaftswissenschaftliche Fachzeitschriften und zeigen, dass policing replications selten sind, und kommen zu dem Schluss, dass mehr Anreize zur Replikation erforderlich sind, um die Früchte der steigenden Transparenzstandards zu ernten.
Keywords: A11; C18; 330; Replication; research transparency; generalizability