TippingSens: An R Shiny Application to Facilitate Sensitivity Analysis for Causal Inference Under Confounding - Anna-Carolina Haensch; Jörg Drechsler; Sarah Bernhard (Institut für Arbeitsmarkt- und Berufsforschung (IAB), 2020)
Most strategies for causal inference based on quasi-experimental or observational data critically rely on the assumption of unconfoundedness. If this assumption is suspect, sensitivity analysis can be a viable tool to evaluate the impact of confounding on the analysis of interest. One of the earliest proposals for such a sensitivity analysis was suggested by Rosenbaum/ Rubin (1983). However, while it is straightforward to obtain estimates for the causal effect under specific assumptions regarding an unobserved confounder, conducting a full sensitivity analysis based on a range of parameter settings is unwieldy based on the simple forking tables which Rosenbaum and Rubin used. To tackle the multiple parameter problem of the Rosenbaum-Rubin approach, we present an interactive R Shiny application called TippingSens, which visualizes the impact of various parameter settings on the estimated causal effect. Borrowing from the literature on tipping point analysis, the flexible app facilitates manipulating all parameters simultaneously. We demonstrate the usefulness of our app by conducting a sensitivity analysis for a quasi-experiment measuring the effect of vocational training programs on unemployed men. The online supplement accompanying this paper provides a step-by-step introduction to the app using the original illustrative example from Rosenbaum/Rubin (1983). – – Kausalanalysen mit quasi-experimentellem Forschungsdesign bspw. Matching-Verfahren schätzen die Wirkung einer Intervention auf eine Ergebnisvariable. Unverzerrte Schätzungen ergeben sich dabei nur, wenn die Kausalanalyse alle Merkmale mit Einfluss auf die Ergebnisvariable und auf die Selektion in die Intervention berücksichtigt. Wenn nicht sicher ist, ob all diese Merkmale berücksichtigt wurden, helfen Sensitivitätsanalysen, den Einfluss eines nicht beobachteten Merkmals auf die geschätzte Wirkung der Intervention zu bestimmen. Einen der ersten Vorschläge für eine solche Sensitivitätsanalyse lieferten Rosenbaum und Rubin (1983). Danach legen vier Parameter fest, wie das unbeobachtete Merkmal mit der Interventionswahrscheinlichkeit und der Ergebnisvariable (in Interventions-und Kontrollgruppe) zusammenhängt und wie es in der Grundgesamtheit verteilt ist. Einfache tabellarische Darstellungen für den Einfluss des nicht beobachteten Merkmals auf die geschätzte Wirkung für verschiedene Sets dieser vier Parameter stoßen schnell an die Grenze zur Unübersichtlichkeit. Dieses Problem lösen wir mit der interaktiven Web-Anwendung TippingSens. Sie basiert auf Shiny R Studio. TippingSens visualisiert gleichzeitig alle vier Parameter eines unbeobachteten Merkmals und zeigt für unterschiedliche Kombinationen und Ausprägungen dieser Parameter in welchem Ausmaß die Ergebnisse der Kausalanalyse durch das nicht beobachtete Merkmal verändert würden. Wir demonstrieren die Anwendung von TippingSens mit den Ergebnissen aus einer Wirkungsanalyse beruflicher Weiterbildung von Arbeitslosen. Der Web-Anhang zu diesem Artikel enthält eine Anleitung für TippingSens anhand des ursprünglichen Beispiels von Rosenbaum und Rubin.
Keywords: C31; C87; 330; Endogeneity; Program Evaluation; Unconfoundedness; Vocational Training