Проблема зникомого градієнта
Хохрайтер формально показав, чому глибокі й рекурентні мережі не навчаються: сигнал помилки згасає експоненційно з кожним шаром назад.
Чому це важливо
Пояснено головну причину, чому мережі не працювали, — і пояснено за п'ятнадцять років до того, як її обійшли.
Під час зворотного проходу градієнт множиться на похідні активацій, менші за одиницю, тож за десяток кроків він зникає; при інших значеннях, навпаки, вибухає. Отже, проблема не в браку обчислень і не в даних, а в самій арифметиці методу. Робота німецькою і у форматі дипломної лишалася майже непоміченою англомовним полем; її наслідки визнали після LSTM і статей Бенжіо 1994 року.