Випрямлені лінійні одиниці
Наїр і Гінтон показали, що випрямлені лінійні одиниці — проста нелінійність, яка обнуляє від'ємні значення, — дають кращі ознаки, ніж бінарні стохастичні одиниці в обмежених машинах Больцмана.
Чому це важливо
Проста й дешева заміна, яка потім стала основою глибоких мереж: перевагу випрямляча над сигмоїдою й гіперболічним тангенсом у глибоких мережах без попереднього навчання показали Глоро, Бордес і Бенджіо 2011 року.
Стаття порівнює випрямлені одиниці з бінарними стохастичними одиницями в обмежених машинах Больцмана — на розпізнаванні об'єктів NORB і верифікації облич LFW — і не порівнює їх із сигмоїдою в мережах зі зворотним поширенням; про швидкість навчання вона не говорить. Вона показує, що такі одиниці зберігають інформацію про відносні інтенсивності, коли сигнал іде крізь шари детекторів ознак. Довід про згасання градієнта належить пізнішій статті Глоро, Бордеса й Бенджіо 2011 року: у мережі з випрямлячами градієнт добре тече активними шляхами, без ефекту згасання сигмоїди чи tanh, і обчислення дешевші, бо не потрібна експонента.