Дослідження · жовтень 1986 р.
Розміщено за датою сучасного події першоджерела. Точна дата події невідома; нижче наведено підтверджений часовий інтервал.
Метод навчання багатошарових мереж було описано в дослідженні.
Ця робота дала практичне правило навчання, яке використали пізніші нейромережі.
Стаття описує експерименти, а не усуває всі труднощі глибокого навчання.
Nature · Опубліковано жовтень 1986 р.
Рекурентну архітектуру навчають градієнтним методом, популяризованим раніше.
Обидва підходи будують багатошарові моделі; методи добору шарів і навчання різні.
Обидві роботи описують навчання багатошарових моделей через поширення похибки назад; ширшу увагу привернула пізніша публікація.
Обидві роботи стосуються навчання глибоких мереж; ця пропонує пошарову ініціалізацію перед тонким налаштуванням.
Це перше правило навчання прихованих шарів, що передувало статті 1986 року в тій самій групі.
Двотомник виклав повну програму коннекціонізму, статтю в Nature того ж року — лише її ядро.
Parallel Distributed Processing: Explorations in the Microstructure of CognitionМережу навчено зворотним поширенням, описаним роком раніше.
Parallel Networks that Learn to Pronounce English TextМережу навчено зворотним поширенням.
Backpropagation Applied to Handwritten Zip Code RecognitionПоказує, чому метод 1986 року не працює на глибині.
Untersuchungen zu dynamischen neuronalen NetzenОцінна функція є мережею, навченою зворотним поширенням.
Practical Issues in Temporal Difference LearningМодель навчається зворотним поширенням.
A Neural Probabilistic Language ModelЗаміна сигмоїди прибирає згасання градієнта, властиве методу 1986 року.
Держава підтримала школу, що виросла навколо авторів зворотного поширення.
Робота того самого автора, що дала практичний спосіб навчати глибокі мережі.