Is there a Superior Distance Function for Matching in Small Samples? - Eva Dettmann; Claudia Becker; Christian Schmeißer (Leibniz-Institut für Wirtschaftsforschung Halle (IWH), 2010)
The study contributes to the development of 'standards' for the application of matching algorithms in empirical evaluation studies. The focus is on the first step of the matching procedure, the choice of an appropriate distance function. Supplementary to most former studies, the simulation is strongly based on empirical evaluation situations. This reality orientation induces the focus on small samples. Furthermore, variables with different scale levels must be considered explicitly in the matching process. The choice of the analysed distance functions is determined by the results of former theoretical studies and recommendations in the empirical literature. Thus, in the simulation, two balancing scores (the propensity score and the index score) and the Mahalanobis distance are considered. Additionally, aggregated statistical distance functions not yet used for empirical evaluation are included. The matching outcomes are compared using non-parametrical scale-specific tests for identical distributions of the characteristics in the treatment and the control groups. The simulation results show that, in small samples, aggregated statistical distance functions are the better choice for summarising similarities in differently scaled variables compared to the commonly used measures. – – Die Studie leistet einen Beitrag zur Entwicklung von "Standards" für den Einsatz von Matchingverfahren in empirischen Evaluationsstudien. Der Fokus liegt dabei auf der Entscheidung für ein geeignetes Distanzmaß. Die strenge Orientierung der durchgeführten Simulation an realen Entscheidungssituationen stellt eine Ergänzung zu den meisten bisher bekannten Studien dar. Sie erklärt zum einen die Fokussierung auf kleine Stichproben, zum anderen die explizite Berücksichtigung unterschiedlich skalierter Variablen, die im Matchingprozess berücksichtigt werden müssen. Die Analyse umfasst diejenigen Distanzmaße, die in der theoretischen Literatur als vorteilhaft angesehen bzw. häufig in empirischen Studien eingesetzt werden: die Mahalanobisdistanz und Balancing Scores. Darüber hinaus werden zwei aus der Statistik bekannte - in Evaluationsstudien bisher allerdings nicht verwendete - aggregierte Distanzmaße untersucht. Die erzielten Matchingergebnisse werden anhand nichtparametrischer skalenspezifischer Tests auf Übereinstimmung der Merkmalsverteilungen bewertet. Die Ergebnisse zeigen, dass aggregierte Distanzmaße in kleinen Stichproben besser in der Lage sind, Ähnlichkeiten in unterschiedlich skalierten Merkmalen zusammenzufassen als die bisher gebräuchlichen Maße.
urn:nbn:de:101:1-2010031943
Keywords: C14; C15; C52; 330; distance functions; matching; microeconometric evaluation; propensity score; simulation; Mikroökonometrie; Maßzahl; Matching; Stichprobenverfahren; Theorie