Alternative selection mechanisms in online surveys - Franz Prücklmair; Ulrich Rendtel (AStA Wirtschafts- und Sozialstatistisches Archiv, 2025)
The rapid changes in internet accessibility and the evolving ways it is used could raise doubts about whether earlier findings on selection effects in internet surveys still hold true. We address the following questions: 1)~Is the selection criterion by mere internet access still a~reasonable self-selection criterion? 2)~If this is no longer true, how should alternative self-selection processes be modeled? 3)~How can these selection processes be controlled? Are demographic control variables sufficient to establish the Missing at Random (MAR) condition, or is it possible to establish the MAR condition with more powerful control variables? 4)~To what extent do the weighting procedures correct a~self-selection bias? We investigate these questions in the setting of a~simulation study where we assume four different selection models. These involve the length of internet use, posting behavior, and interest in politics and are based on theoretical considerations. We use the European Social Survey (ESS) as a~simulation environment, which contains these variables and demographic background variables. It also includes our outcome variable, the vote in the 2017 Bundestag election in Germany. In order to judge the differences of the non-probability results and the simulated universe we compare the results of ESS estimates of the 2017 Bundestags elections the real election results. – – Die rasanten Veränderungen beim Internetzugang und in der Art seiner Nutzung werfen die Frage auf, ob frühere Erkenntnisse zu Selektions-effekten in Internetbefragungen weiterhin gültig sind. In diesem Zusammenhang untersuchen wir die folgenden Fragen: 1)~Ist das Auswahlkriterium des bloßen Internetzugangs noch ein sinnvolles Selbstselektionskriterium? 2)~Wenn nicht, wie sollten alternative Selbstselektionsprozesse modelliert werden? 3)~Wie können diese Selektionsprozesse kontrolliert werden? Sind demografische Kontrollvariablen ausreichend, um die ,,Missing at Random“ (MAR)-Bedingung zu erfüllen, oder sollten stärkere Kontrollvariablen einbezogen werden? 4)~In welchem Maße korrigieren Gewichtungsverfahren einen Selbstselektionsbias? Diese Fragen werden im Rahmen einer Simulationsstudie untersucht, in der vier unterschiedliche Selektionsmodelle angenommen werden. Diese beruhen auf theoretischen Überlegungen und beziehen sich auf die Dauer der Internetnutzung, das Posting-Verhalten und das politische Interesse. Als Simulationsumgebung dient der European Social Survey (ESS), der diese Informationen, demografische Hintergrundvariablen sowie die Zielvariable –~die Wahlentscheidung bei der Bundestagswahl 2017~– enthält. Zur Bewertung der Abweichungen zwischen den nicht-probabilistischen Ergebnissen und dem simulierten Universum vergleichen wir die ESS-Schätzungen der Bundestagswahl 2017 mit den tatsächlichen Wahlergebnissen.
Keywords: 510; Online surveys; River Sampling; Non-probability samples; Quasi-Randomization approach; Calibration; European Social Survey; Online-Umfragen; Nicht-Zufallsstichproben; Quasi-Randomisierung; Kalibrierung