Εισαγωγή
Οι βαθιές γεννήτριες δεδομένων (deep data generators ή deep generative models) χρησιμοποιούνται σε πολλά υποπεδία της τεχνητής νοημοσύνης, της μηχανικής μάθησης και της επιστήμης των δεδομένων. Οι πρόσφατες εξελίξεις στην παραμετροποίηση αυτών των μοντέλων χρησιμοποιώντας βαθιά νευρωνικά δίκτυα, σε συνδυασμό με την πρόοδο στις μεθόδους στοχαστικής βελτιστοποίησης, επέτρεψαν την κλιμακούμενη μοντελοποίηση πολύπλοκων και υψηλών διαστάσεων δεδομένων. Σε αυτό το μάθημα, θα μελετήσουμε τα πιθανοθεωρητικά θεμέλια και τους αλγόριθμους μάθησης των μοντέλων βαθιάς παραγωγής δεδομένων. Στο μάθημα θα παρουσιαστούν πρόσφατες εφαρμογές που έχουν επωφεληθεί από βαθιά παραγωγικά μοντέλα, όπως η υπολογιστική όραση, η επεξεργασία ομιλίας και η αντίστροφη επίλυση προβλημάτων.

Περιεχόμενα μαθήματος

• Βασικές έννοιες της θεωρίας Πιθανοτήτων όπως τυχαίες μεταβλητές, δεσμευμένη πιθανότητα, κανόνας της αλυσίδας, θεώρημα Bayes, μετασχηματισμός τυχαίας μεταβλητής, δειγματοληψία αντίστροφου μετασχηματισμού, πολυδιάστατες τυχαίες μεταβλητές και το κεντρικό οριακό θεώρημα.
• Βασικές έννοιες της θεωρίας Πληροφορίας όπως τι είναι πληροφορία, εντροπία Shannon, αποκλίσεις μεταξύ κατανομών (Kullback-Leibler, f, α, Renyi), αποστάσεις πιθανότητας (Wasserstein, MMD), συναρτησιακή αναπαράσταση αποκλίσεων και παρουσίαση αναλυτικών παραδειγμάτων.
• Παραδείγματα ρηχών γεννητριών δεδομένων όπως το μοντέλο μίξης Γκαουσσιανών κατανομών, εκτίμηση μέγιστης πιθανοφάνειας και Μπεϋζιανά δίκτυα. Παραδείγματα στοχαστικών διαδικασιών όπως αλυσίδες Markov και στοχαστικές διαφορικές εξισώσεις, εισαγωγή στην μέθοδο Monte Carlo για την παραγωγή δεδομένων.
• Παρουσίαση των κανονικοποιητικών ροών (normalizing flows ή NFs): ορισμός, βασικοί αλγόριθμοι εκπαίδευσης, αντιστρέψιμοι μετασχηματισμοί, αναλυτική εκτίμηση πιθανοφάνειας, παρουσίαση παραδειγμάτων και εφαρμογών.
• Ορισμός των μοντέλων βαθιάς αυτοπαλίνδρομης (deep autoregressive models ή DAR), δημιουργία χρονοσειρών διακριτής ή συνεχούς κατάστασης,, καταγραφή συσχετίσεων μεγάλης εμβέλειας, αρχιτεκτονικές νευρωνικών δικτύων (διασταλμένα CNN, RNN και transformers), βελτιστοποίηση πιθανοφάνειας και παρουσίαση μοντέλων DAR με εφαρμογές στην παραγωγή εικόνων και ήχου (WaveNet, WaveRNN, PixelRNN).
• Ορισμός μεταβλητών αυτοκωδικοποιητών (variational autoencoders ή VAEs), βασικοί αλγόριθμοι εκπαίδευσης, προσεγγιστική εκτίμηση πιθανοφάνειας, επεκτάσεις του βασικού μοντέλου (αποθορυβοποιημένοι VAE, β-VAE) και εφαρμογές στην επιστημονική ανακάλυψη.
• Ορισμός των στοχαστικών μοντέλων διάχυσης (diffusion probabilistic models ή DPMs), ευθύς/αντίστροφη στοχαστική διαδικασία, βασικοί αλγόριθμοι εκπαίδευσης, προσεγγιστική εκτίμηση πιθανοφάνειας, γενίκευση του βασικού μοντέλου και εφαρμογές (όπως το DALL-E2).
• Παρουσίαση των παραγωγικών ανταγωνιστικών δικτύων (generative adversarial networks ή GANs), των αλγορίθμων εκπαίδευσης τους, βασικές ιδιότητες και παραλλαγές του αρχικού μοντέλου. Περιγραφή της ανταγωνιστικής εκμάθησης και εφαρμογές των GANs (BigGAN, MelGAN, InfoGAN, CycleGAN).
• Παρουσίαση μοντέλων που βασίζονται στην ενέργεια (energy-based models ή EBM), αποδοτικούς αλγόριθμους εκπαίδευσης (αλγόριθμος αντιστοίχισης βαθμολογίας ή score matching) και εφαρμογές όπως το γινόμενο ειδικών.