Зворотний режим автоматичного диференціювання
Сеппо Ліннайнмаа описав, як обчислити похідні складеної функції одним проходом графа обчислень назад.
Чому це важливо
Алгоритм, що робить навчання глибоких мереж можливим, з'явився в задачі про накопичення похибок округлення.
Ліннайнмаа шукав спосіб оцінити, як похибки округлення окремих операцій впливають на кінцевий результат. Розв'язок — розкласти накопичену похибку в ряд Тейлора і пройти граф у зворотному порядку. Вартість такого проходу пропорційна вартості прямого обчислення незалежно від кількості параметрів; саме ця властивість робить навчання великих моделей реалізовним.