A protocol for structured robustness reproductions and replicability assessments - Jörg Ankel-Peters; Abel Brodeur; Anna Dreber; Magnus Johannesson; Florian Neubauer; Julian Rose (RWI - Leibniz-Institut für Wirtschaftsforschung, 2024)
Robustness reproductions and replicability discussions are on the rise in response to concerns about a potential credibility crisis in economics. This paper proposes a protocol to structure reproducibility and replicability assessments, with a focus on robustness. Starting with a computational reproduction upon data availability, the protocol encourages replicators to prespecify robustness tests, prior to implementing them. The protocol contains three different reporting tools to streamline the presentation of results. Beyond reproductions, our protocol assesses adherence to the pre-analysis plans in the replicated papers as well as external and construct validity. Our ambition is to put often controversial debates between replicators and replicated authors on a solid basis and contribute to an improved replication culture in economics. – – Die Diskussionen über die Robustheit von Reproduktionen und die Replizierbarkeit nehmen angesichts der Besorgnis über eine mögliche Glaubwürdigkeitskrise in den Wirtschaftswissenschaften zu. In diesem Papier wird ein Protokoll zur Strukturierung von Reproduzierbarkeits- und Replizierbarkeitsbewertungen vorgeschlagen, wobei der Schwerpunkt auf der Robustheit liegt. Das Protokoll beginnt mit einer rechnerischen Reproduktion bei Datenverfügbarkeit und ermutigt die Replikatoren, Robustheitstests vor ihrer Durchführung festzulegen. Das Protokoll enthält drei verschiedene Berichtswerkzeuge, um die Präsentation der Ergebnisse zu vereinfachen. Über die Reproduktionen hinaus bewertet unser Protokoll die Einhaltung der Prä-Analysepläne in den replizierten Arbeiten sowie die externe und konstruktive Validität. Unser Ziel ist es, die oft kontroversen Debatten zwischen Replikatoren und Replikationsautoren auf eine solide Basis zu stellen und zu einer verbesserten Replikationskultur in den Wirtschaftswissenschaften beizutragen.
Keywords: A11; C18; 330; Replication; reproducibility; robustness; research transparency; meta-science