Please use this identifier to cite or link to this item: http://hdl.handle.net/10419/222390
Authors: 
Goller, Daniel
Lechner, Michael
Moczall, Andreas
Wolff, Joachim
Year of Publication: 
2020
Series/Report no.: 
IAB-Discussion Paper No. 5/2020
Abstract: 
Matching-type estimators using the propensity score are the major workhorse in active labour market policy evaluation. This work investigates if machine learning algorithms for estimating the propensity score lead to more credible estimation of average treatment effects on the treated using a radius matching framework. Considering two popular methods, the results are ambiguous: We find that using LASSO based logit models to estimate the propensity score delivers more credible results than conventional methods in small and medium sized high dimensional datasets. However, the usage of Random Forests to estimate the propensity score may lead to a deterioration of the performance in situations with a low treatment share. The application reveals a positive effect of the training programme on days in employment for long-term unemployed. While the choice of the 'first stage' is highly relevant for settings with low number of observations and few treated, machine learning and conventional estimation becomes more similar in larger samples and higher treatment shares.
Abstract (Translated): 
Propensity Score Matching-Schätzer sind ein zentrales Tool, um Wirkungen aktiver Arbeitsmarktpolitik mit Individualdaten zu analysieren. Diese Studie untersucht, inwieweit Machine-Learning Algorithmen zur Schätzung des Propensity Score zu einer verbesserten Schätzung von durchschnittlichen Maßnahmeteilnahmeeffekten für die Teilnehmenden führt, wenn Radius-Matching verwendet wird. Es werden zwei gängige Methoden verwendet und die Analyse kommt zu keinem eindeutigen Ergebnis: Die Anwendung des LASSO auf der Basis von Logit-Modellen zur Schätzung des Propensity Score liefert überzeugendere Befunde als konventionelle Schätzmethoden, wenn kleine oder mittelgroße Datensätze verwendet werden. Wenn hingegen Random Forests zur Schätzung des Propensity Score verwendet werden, kann unter Verwendung von Stichproben mit einem geringen Anteil von Teilnehmenden das Gegenteil der Fall sein. Den Schätzergebnisse zufolge, führen die untersuchten Schulungsmaßnahmen dazu, dass die Tage in Beschäftigung nach Förderbeginn für die langzeitarbeitslosen Schulungsteilnehmenden höher ausfallen als ohne diese Förderung. Während bei Stichproben mit einer geringen Anzahl von Beobachtungen und einem kleinen Anteil von Maßnahmeteilnehmenden die Wahl des Schätzers für den Propensity Score für die Ergebnisse hoch relevant ist, sind die Resultate von Machine-Learning- und konventionellen Schätzungen bei einer hohen Anzahl von Beobachtungen und einem relativen hohen Anteil von Maßnahmeteilnehmenden ähnlicher.
Subjects: 
Programme evaluation
active labour market policy
causal machine learning
treatment effects
radius matching
propensity score
JEL: 
J68
C21
Document Type: 
Working Paper

Files in This Item:
File
Size





Items in EconStor are protected by copyright, with all rights reserved, unless otherwise indicated.