Пакетна нормалізація
Іоффе і Сегеді запропонували нормалізувати входи кожного шару за статистикою поточного пакета — і навчання прискорилося в рази.
Чому це важливо
Глибокі мережі стали навчатися передбачувано: зникла потреба в обережній ініціалізації та крихітному темпі навчання.
Розподіл входів кожного шару зсувається під час навчання, бо змінюються ваги попередніх шарів, і кожен шар ганяється за рухомою ціллю. Нормалізація фіксує масштаб. Ефект виявився таким сильним, що метод увійшов практично в кожну архітектуру. Пояснення, чому саме це працює, досі обговорюється: початкова гіпотеза авторів згодом була оскаржена.