Машина Больцмана
Еклі, Гінтон і Сейновскі описали мережу зі стохастичними одиницями і прихованим шаром, яку можна навчити правилом, що звіряє два режими роботи.
Чому це важливо
Приховані шари вперше отримали правило навчання з ясним статистичним обґрунтуванням — за рік до зворотного поширення.
Мережа має енергію, як у Гопфілда, але стани перемикаються ймовірнісно за температурою. Правило навчання порівнює статистику при зафіксованому вході зі статистикою вільного ходу і зсуває ваги на різницю. Навчання надзвичайно повільне, бо потребує досягнення рівноваги. Обмежена машина Больцмана з цієї самої лінії згодом дала Гінтону спосіб попереднього навчання глибоких мереж 2006 року.