Please use this identifier to cite or link to this item: https://hdl.handle.net/10419/306836 
Year of Publication: 
2024
Series/Report no.: 
Ruhr Economic Papers No. 1106
Publisher: 
RWI - Leibniz-Institut für Wirtschaftsforschung, Essen
Abstract: 
Robustness reproductions and replicability discussions are on the rise in response to concerns about a potential credibility crisis in economics. This paper proposes a protocol to structure reproducibility and replicability assessments, with a focus on robustness. Starting with a computational reproduction upon data availability, the protocol encourages replicators to prespecify robustness tests, prior to implementing them. The protocol contains three different reporting tools to streamline the presentation of results. Beyond reproductions, our protocol assesses adherence to the pre-analysis plans in the replicated papers as well as external and construct validity. Our ambition is to put often controversial debates between replicators and replicated authors on a solid basis and contribute to an improved replication culture in economics.
Abstract (Translated): 
Die Diskussionen über die Robustheit von Reproduktionen und die Replizierbarkeit nehmen angesichts der Besorgnis über eine mögliche Glaubwürdigkeitskrise in den Wirtschaftswissenschaften zu. In diesem Papier wird ein Protokoll zur Strukturierung von Reproduzierbarkeits- und Replizierbarkeitsbewertungen vorgeschlagen, wobei der Schwerpunkt auf der Robustheit liegt. Das Protokoll beginnt mit einer rechnerischen Reproduktion bei Datenverfügbarkeit und ermutigt die Replikatoren, Robustheitstests vor ihrer Durchführung festzulegen. Das Protokoll enthält drei verschiedene Berichtswerkzeuge, um die Präsentation der Ergebnisse zu vereinfachen. Über die Reproduktionen hinaus bewertet unser Protokoll die Einhaltung der Prä-Analysepläne in den replizierten Arbeiten sowie die externe und konstruktive Validität. Unser Ziel ist es, die oft kontroversen Debatten zwischen Replikatoren und Replikationsautoren auf eine solide Basis zu stellen und zu einer verbesserten Replikationskultur in den Wirtschaftswissenschaften beizutragen.
Subjects: 
Replication
reproducibility
robustness
research transparency
meta-science
JEL: 
A11
C18
Persistent Identifier of the first edition: 
ISBN: 
978-3-96973-284-7
Document Type: 
Working Paper

Files in This Item:
File
Size





Items in EconStor are protected by copyright, with all rights reserved, unless otherwise indicated.