Is economics self-correcting? Replications in the American Economic Review - Jörg Ankel-Peters; Nathan Fiala; Florian Neubauer (RWI - Leibniz-Institut für Wirtschaftsforschung, 2023)
Replication and constructive controversy are essential for scientific progress. This paper reviews the impact of all replications published as comments in the American Economic Review between 2010 and 2020. We investigate the citation rates of comments and whether a comment affects its original paper's citation rates. We find that most comments are barely cited, and they have no impact on the original papers' subsequent citations. This finding holds for original papers for which the comment diagnoses a substantive problem. We conclude from these citation patterns that replications do not update the economics literature. In an online opinion survey, we elicited viewpoints of both comment authors and original authors and find that in most cases, there is no consensus regarding the replication's success and to what extent the original paper's contribution sustains. This resonates with the conventional wisdom that robustness and replicability are hard to define in economics. – – Replikation und konstruktive Debatten sind für den wissenschaftlichen Fortschritt unerlässlich. Dieses Papier untersucht die Auswirkungen aller Replikationen, die zwischen 2010 und 2020 als Kommentare (engl. Comments) im American Economic Review erschienen sind. Wir untersuchen die Zitationen von Kommentaren und ob sich die Veröffentlichung eines Kommentars auf die Zitationen des Originalartikels auswirkt. Wir stellen fest, dass die meisten Kommentare kaum zitiert werden, und dass sie keinen Einfluss auf die nachfolgenden Zitationen der Originalartikel haben. Dieses Ergebnis gilt auch für Originalartikel, bei denen der Kommentar ein gravierendes inhaltliches Problem diagnostiziert. Wir schließen aus diesen Zitationsmustern, dass Replikationen die wirtschaftswissenschaftliche Literatur nicht aktualisieren. In einer Online-Umfrage haben wir die Meinungen der Autoren von Kommentaren und Originalartikeln eingeholt. Wir haben festgestellt, dass in den meisten Fällen weder Konsens über das Ergebnis der Replikation besteht, noch ob der Beitrag der Originalartikel weiterhin Gültigkeit hat. Dies deckt sich mit der gängigen Meinung, dass Robustheit und Replizierbarkeit in den Wirtschaftswissenschaften schwer zu definieren sind.
Keywords: A11; A14; 330; Replication; citations; meta-science