Варіаційний автокодувальник
Кінгма і Веллінг показали, як навчати породжувальну модель із прихованими змінними градієнтним спуском, зробивши випадковість диференційовною.
Чому це важливо
Ймовірнісне моделювання і глибокі мережі зійшлися в одному методі, який можна навчати звичайним зворотним поширенням.
Головний прийом — репараметризація: випадкову величину подають як детерміновану функцію від параметрів і незалежного шуму, і градієнт проходить наскрізь. Це зняло перешкоду, через яку ймовірнісні моделі не вміли користуватися глибокими мережами. Метод дав і породження, і стиснене подання. Дифузійні моделі належать до тієї самої родини явно ймовірнісних підходів.