Please use this identifier to cite or link to this item: https://hdl.handle.net/10419/234287 
Year of Publication: 
2020
Series/Report no.: 
IAB-Discussion Paper No. 29/2020
Publisher: 
Institut für Arbeitsmarkt- und Berufsforschung (IAB), Nürnberg
Abstract: 
Most strategies for causal inference based on quasi-experimental or observational data critically rely on the assumption of unconfoundedness. If this assumption is suspect, sensitivity analysis can be a viable tool to evaluate the impact of confounding on the analysis of interest. One of the earliest proposals for such a sensitivity analysis was suggested by Rosenbaum/ Rubin (1983). However, while it is straightforward to obtain estimates for the causal effect under specific assumptions regarding an unobserved confounder, conducting a full sensitivity analysis based on a range of parameter settings is unwieldy based on the simple forking tables which Rosenbaum and Rubin used. To tackle the multiple parameter problem of the Rosenbaum-Rubin approach, we present an interactive R Shiny application called TippingSens, which visualizes the impact of various parameter settings on the estimated causal effect. Borrowing from the literature on tipping point analysis, the flexible app facilitates manipulating all parameters simultaneously. We demonstrate the usefulness of our app by conducting a sensitivity analysis for a quasi-experiment measuring the effect of vocational training programs on unemployed men. The online supplement accompanying this paper provides a step-by-step introduction to the app using the original illustrative example from Rosenbaum/Rubin (1983).
Abstract (Translated): 
Kausalanalysen mit quasi-experimentellem Forschungsdesign bspw. Matching-Verfahren schätzen die Wirkung einer Intervention auf eine Ergebnisvariable. Unverzerrte Schätzungen ergeben sich dabei nur, wenn die Kausalanalyse alle Merkmale mit Einfluss auf die Ergebnisvariable und auf die Selektion in die Intervention berücksichtigt. Wenn nicht sicher ist, ob all diese Merkmale berücksichtigt wurden, helfen Sensitivitätsanalysen, den Einfluss eines nicht beobachteten Merkmals auf die geschätzte Wirkung der Intervention zu bestimmen. Einen der ersten Vorschläge für eine solche Sensitivitätsanalyse lieferten Rosenbaum und Rubin (1983). Danach legen vier Parameter fest, wie das unbeobachtete Merkmal mit der Interventionswahrscheinlichkeit und der Ergebnisvariable (in Interventions-und Kontrollgruppe) zusammenhängt und wie es in der Grundgesamtheit verteilt ist. Einfache tabellarische Darstellungen für den Einfluss des nicht beobachteten Merkmals auf die geschätzte Wirkung für verschiedene Sets dieser vier Parameter stoßen schnell an die Grenze zur Unübersichtlichkeit. Dieses Problem lösen wir mit der interaktiven Web-Anwendung TippingSens. Sie basiert auf Shiny R Studio. TippingSens visualisiert gleichzeitig alle vier Parameter eines unbeobachteten Merkmals und zeigt für unterschiedliche Kombinationen und Ausprägungen dieser Parameter in welchem Ausmaß die Ergebnisse der Kausalanalyse durch das nicht beobachtete Merkmal verändert würden. Wir demonstrieren die Anwendung von TippingSens mit den Ergebnissen aus einer Wirkungsanalyse beruflicher Weiterbildung von Arbeitslosen. Der Web-Anhang zu diesem Artikel enthält eine Anleitung für TippingSens anhand des ursprünglichen Beispiels von Rosenbaum und Rubin.
Subjects: 
Endogeneity
Program Evaluation
Unconfoundedness
Vocational Training
JEL: 
C31
C87
Document Type: 
Working Paper

Files in This Item:
File
Size





Items in EconStor are protected by copyright, with all rights reserved, unless otherwise indicated.