Does the estimation of the propensity score by machine learning improve matching estimation? The case of Germany's programmes for long term unemployed - Daniel Goller; Michael Lechner; Andreas Moczall; Joachim Wolff (Institut für Arbeitsmarkt- und Berufsforschung (IAB), 2020)
Matching-type estimators using the propensity score are the major workhorse in active labour market policy evaluation. This work investigates if machine learning algorithms for estimating the propensity score lead to more credible estimation of average treatment effects on the treated using a radius matching framework. Considering two popular methods, the results are ambiguous: We find that using LASSO based logit models to estimate the propensity score delivers more credible results than conventional methods in small and medium sized high dimensional datasets. However, the usage of Random Forests to estimate the propensity score may lead to a deterioration of the performance in situations with a low treatment share. The application reveals a positive effect of the training programme on days in employment for long-term unemployed. While the choice of the 'first stage' is highly relevant for settings with low number of observations and few treated, machine learning and conventional estimation becomes more similar in larger samples and higher treatment shares. – – Propensity Score Matching-Schätzer sind ein zentrales Tool, um Wirkungen aktiver Arbeitsmarktpolitik mit Individualdaten zu analysieren. Diese Studie untersucht, inwieweit Machine-Learning Algorithmen zur Schätzung des Propensity Score zu einer verbesserten Schätzung von durchschnittlichen Maßnahmeteilnahmeeffekten für die Teilnehmenden führt, wenn Radius-Matching verwendet wird. Es werden zwei gängige Methoden verwendet und die Analyse kommt zu keinem eindeutigen Ergebnis: Die Anwendung des LASSO auf der Basis von Logit-Modellen zur Schätzung des Propensity Score liefert überzeugendere Befunde als konventionelle Schätzmethoden, wenn kleine oder mittelgroße Datensätze verwendet werden. Wenn hingegen Random Forests zur Schätzung des Propensity Score verwendet werden, kann unter Verwendung von Stichproben mit einem geringen Anteil von Teilnehmenden das Gegenteil der Fall sein. Den Schätzergebnisse zufolge, führen die untersuchten Schulungsmaßnahmen dazu, dass die Tage in Beschäftigung nach Förderbeginn für die langzeitarbeitslosen Schulungsteilnehmenden höher ausfallen als ohne diese Förderung. Während bei Stichproben mit einer geringen Anzahl von Beobachtungen und einem kleinen Anteil von Maßnahmeteilnehmenden die Wahl des Schätzers für den Propensity Score für die Ergebnisse hoch relevant ist, sind die Resultate von Machine-Learning- und konventionellen Schätzungen bei einer hohen Anzahl von Beobachtungen und einem relativen hohen Anteil von Maßnahmeteilnehmenden ähnlicher.
Keywords: J68; C21; 330; Programme evaluation; active labour market policy; causal machine learning; treatment effects; radius matching; propensity score