Проблема зникомого градієнта
Хохрайтер формально показав, чому глибокі й рекурентні мережі не навчаються: сигнал помилки згасає експоненційно з кожним шаром назад.
Чому це важливо
Пояснено головну причину, чому мережі не працювали, — і пояснено за п'ятнадцять років до того, як її обійшли.
Під час зворотного проходу помилка множиться на добуток похідної активації та ваги; коли цей множник за модулем менший за одиницю, сигнал згасає експоненційно зі зростанням кількості кроків, а коли більший — вибухає. Отже, проблема не в браку обчислень і не в даних, а в самій арифметиці методу. Робота німецькою і у форматі дипломної лишалася майже непоміченою англомовним полем; її аналіз Хохрайтер переказав у статті про LSTM 1997 року, де називає аналіз Бенжіо 1994 року «дуже схожим, новішим». Слова «vanishing» у самій дипломній немає: назва новіша.