Please use this identifier to cite or link to this item:
https://hdl.handle.net/10419/334525 Year of Publication:
2025
Series/Report no.:
WIK Working Paper No. 12
Publisher:
WIK Wissenschaftliches Institut für Infrastruktur und Kommunikationsdienste, Bad Honnef
Abstract:
As online platforms increasingly rely on algorithmic systems to curate, rank, and remove content, concerns about the societal and economic consequences of algorithmic decision-making have intensified, and with them the importance of algorithmic auditing. However, there is a lack of universal, practical guidance on the specific steps involved in designing and implementing platform audits across different problem domains and under varying conditions of data access, methodological constraints and legal obligations. This paper aims to address this gap by deriving a generalised framework with fine-grained, concrete steps required for the practical implementation of algorithmic audits using a broad focus on potential methodologies and a broad focus on potential application scenarios. The framework is based on a structural analysis of empirical audit approaches in the two domains of moderation of illegal and harmful content and of potential self-preferencing in recommendation algorithms, combined with further methodological literature. On this basis, the paper specifies the sequence of steps involved in carrying out audits in practice, identifies recurring challenges encountered across settings, and proposes a classification of audit approaches, incorporating advantages and disadvantages, and concrete examples. The proposed unified process model refines and operationalises existing high-level frameworks, while generalising more fine-grained domain-specific approaches. Furthermore, it demonstrates that meaningful audits can be conducted under restrictive access conditions, but that platform support can substantially improve the feasibility of precise, generalisable and causally informative findings. Taken together, these contributions offer regulators, platforms, and independent auditors a practical basis for systematically scrutinising complex platform algorithms and for interpreting audit results with greater rigour.
Abstract (Translated):
Da Online-Plattformen zunehmend algorithmische Systeme nutzen, wachsen die Bedenken über gesellschaftliche und wirtschaftliche Folgen algorithmischer Entscheidungen und damit die Bedeutung des algorithmischen Auditings. Es fehlt jedoch an universellen, praxisnahen Leitfäden für die Schritte zur Entwicklung und Durchführung von Plattform-Audits in verschiedenen Problembereichen und unter unterschiedlichen Bedingungen des Datenzugangs, methodischer Einschränkungen und rechtlicher Verpflichtungen. Diese Studie zielt darauf ab, diese Lücke zu schließen, indem sie einen universellen Leitfaden mit detaillierten, konkreten Schritten für die praktische Umsetzung algorithmischer Audits mit breitem Fokus auf mögliche Methoden und Anwendungsfälle entwickelt. Der Leitfaden stützt sich auf eine strukturelle Analyse empirischer Auditansätze in den beiden Bereichen der Moderation illegaler und schädlicher Inhalte sowie potenzieller Selbstbevorzugung in Empfehlungsalgorithmen, kombiniert mit weiterer methodischer Literatur. Darauf aufbauend spezifiziert die Studie die nötigen Schritte für Audits in der Praxis, identifiziert wiederkehrende Herausforderungen unter unterschiedlichen Bedingungen und schlägt eine Klassifizierung von Auditansätzen vor, inklusive mit Vor- und Nachteilen sowie Beispielen. Das vorgeschlagene einheitliche Prozessmodell verfeinert und operationalisiert bestehende weniger detaillierte Rahmenwerke und verallgemeinert gleichzeitig detailliertere domänenspezifische Ansätze. Darüber hinaus demonstriert sie, dass aussagekräftige Audits auch unter restriktiven Zugangsbedingungen realisierbar sind, wobei Plattformunterstützung das Erreichen präziser, verallgemeinerbarer und kausal belastbarer Ergebnisse signifikant verbessert. Insgesamt liefern diese Beiträge Regulierungsbehörden, Plattformen und unabhängigen Prüfern eine praktische Grundlage für das systematische Auditing komplexer Plattformalgorithmen und eine differenziertere Interpretation von Auditergebnissen.
Subjects:
algorithmic auditing
digital platforms
content moderation
self-preferencing
digital platforms
content moderation
self-preferencing
Document Type:
Working Paper
Files in This Item:
File
Description
Size
Format
Items in EconStor are protected by copyright, with all rights reserved, unless otherwise indicated.