Випрямлені лінійні одиниці
Наір і Гінтон показали, що проста нелінійність, яка обнуляє від'ємні значення, навчається краще за сигмоїду.
Чому це важливо
Одна з найдешевших змін в історії глибокого навчання дала одне з найбільших прискорень.
Сигмоїда насичується: за великих значень її похідна майже нульова, і градієнт згасає з кожним шаром. Випрямлена одиниця має похідну одиницю на всій додатній половині, тож сигнал проходить углиб. Обчислювально вона дешевша за експоненту. Разом із графічними процесорами це зняло дві з трьох перешкод, через які глибокі мережі не працювали.