Effizientes Training von probabilistischen generativen Modellen ist ein begehrtes Ziel in Machine Learning. Diskrete latente Variablen werden oft verwendet, um den generativen Prozess von realen Daten zu erfassen, was z.B. die Forschung an diskreten Variational Autoencoders (VAEs) motiviert hat. Variationsapproximationen des EM-Algorithmus bieten einen generischen, leistungsfähigen Rahmen, um Trainingsalgorithmen in Abhängigkeit von der gewählten Form der Variationsverteilungen abzuleiten. Hier verwenden wir "truncated posteriors" als Variationsverteilungen und nutzen den daraus resultierenden Trainingsalgorithmus, um eine Verbindung zwischen evolutionären Algorithmen (EAs) und dem Training von tiefen generativen Modellen mit binären Latenten herzustellen. Wir zeigen auch, dass EA-basiertes Training von diskreten VAEs ein skalierbares und direkteres Trainingsschema als verfügbare Alternativen ergibt, was eine Reihe möglicher zukünftiger Forschungsrichtungen nahelegt.
Efficient training of probabilistic generative models is a highly sought-after goal in the field of machine learning. Usage of discrete latent variables in such models is considered important to capture the generative process of real-world data, which, for instance, has motivated research on Variational Autoencoders (VAEs) with discrete latents. Variational approximations of the EM algorithm offer a generic, powerful framework to derive training algorithms as a function of the chosen form of variational distributions. Here we make use of truncated posteriors as variational distributions and show how the resulting training algorithm can be used to establish a close link between evolutionary algorithms (EAs) and training of deep generative models with binary latents. We also show that EA-based training of discrete-latent VAEs yields a scalable and arguably more direct training scheme than available alternatives, suggesting a number of possible future research directions.
Effizientes Training von probabilistischen generativen Modellen ist ein begehrtes Ziel in Machine Learning. Diskrete latente Variablen werden oft verwendet, um den generativen Prozess von realen Daten zu erfassen, was z.B. die Forschung an diskreten Variational Autoencoders (VAEs) motiviert hat. Variationsapproximationen des EM-Algorithmus bieten einen generischen, leistungsfähigen Rahmen, um Trainingsalgorithmen in Abhängigkeit von der gewählten Form der Variationsverteilungen abzuleiten. Hier verwenden wir "truncated posteriors" als Variationsverteilungen und nutzen den daraus resultierenden Trainingsalgorithmus, um eine Verbindung zwischen evolutionären Algorithmen (EAs) und dem Training von tiefen generativen Modellen mit binären Latenten herzustellen. Wir zeigen auch, dass EA-basiertes Training von diskreten VAEs ein skalierbares und direkteres Trainingsschema als verfügbare Alternativen ergibt, was eine Reihe möglicher zukünftiger Forschungsrichtungen nahelegt.
Efficient training of probabilistic generative models is a highly sought-after goal in the field of machine learning. Usage of discrete latent variables in such models is considered important to capture the generative process of real-world data, which, for instance, has motivated research on Variational Autoencoders (VAEs) with discrete latents. Variational approximations of the EM algorithm offer a generic, powerful framework to derive training algorithms as a function of the chosen form of variational distributions. Here we make use of truncated posteriors as variational distributions and show how the resulting training algorithm can be used to establish a close link between evolutionary algorithms (EAs) and training of deep generative models with binary latents. We also show that EA-based training of discrete-latent VAEs yields a scalable and arguably more direct training scheme than available alternatives, suggesting a number of possible future research directions.
