Fast, approximate MCMC for Bayesian analysis of large data sets: A design based approach - Matthias Kaeding (RWI - Leibniz-Institut für Wirtschaftsforschung, 2016)
We propose a fast approximate Metropolis-Hastings algorithm for large data sets embedded in a design based approach. Here, the loglikelihood ratios involved in the Metropolis-Hastings acceptance step are considered as data. The building block is one single subsample from the complete data set, so that the necessity to store the complete data set is bypassed. The subsample is taken via the cube method, a balanced sampling design, which is defined by the property that the sample mean of some auxiliary variables is close to the sample mean of the complete data set. We develop several computationally and statistically efficient estimators for the Metropolis-Hastings acceptance probability. Our simulation studies show that the approach works well and can lead to results which are close to the use of the complete data set, while being much faster. The methods are applied on a large data set consisting of all German diesel prices for the first quarter of 2015. – – Zur bayesianischen Analyse von großen Datensätzen schlagen wir eine schnelle, approximative Variante des Metropolis-Hastings-Algorithmus vor. Für diesen ist es erforderlich, Loglikelihood-Differenzen zu berechnen; im vorgestellten Ansatz werden diese als Daten angesehen, deren Summe zu schätzen ist. Die Basis bildet hierbei eine Stichprobe aus dem vollständigen Datensatz, so dass dieser nicht gespeichert werden muss. Die Stichprobe wird via cube sampling, einem balanciertem Stichprobendesign gezogen: Hierbei wird die Stichprobe so gezogen, dass der Mittelwert von ausgewählten Hilfsvariablen in der Stichprobe nahe dem Mittelwert der Hilfsvariablen in der Grundgesamtheit ist. Mehrere algorithmisch und statistisch effiziente Schätzer für die Summe der Loglikelihood-Differenzen, basierend auf der Stichprobe, werden entwickelt. Via Monte-Carlo Simulationen werden die vorgestellten Methoden evaluiert. Dabei zeigt sich, dass es eine Abwägung zwischen Rechenaufwand und Approximationsfehler gibt, jedoch kann der Approximationsfehler unter einer signifikanten Einsparung von Rechenaufwand auf einem vernachlässigbaren Niveau gehalten werden. Die vorgestellte Methode wird auf einen großen Datensatz aus deutschen Benzinpreisen für das erste Quartal 2015 angewandt.
Keywords: C11; C55; C83; 330; Bayesian inference; big data; approximate MCMC; survey sampling