Чому далекі залежності не вивчаються
Бенжіо, Сімар і Фраскóні довели, що градієнтне навчання рекурентних мереж не може водночас зберігати інформацію надовго і лишатися стійким до шуму.
Чому це важливо
Проблему сформульовано як компроміс, а не як недолік реалізації: обійти її можна лише зміною архітектури.
Автори показують, що умова стійкого зберігання стану суперечить умові, за якої градієнт не згасає. Отже, налаштуванням темпу навчання чи ініціалізації справу не виправити. Стаття вийшла англійською в рецензованому журналі й тому вплинула на поле сильніше, ніж німецькомовна дипломна Хохрайтера, хоч і на три роки пізніше.