Пошук структури в часі
Елман додав мережі контекстний шар, що зберігає її власний попередній стан, і показав, що так вона вивчає структуру послідовності.
Чому це важливо
Час перестав бути додатковим входом і став внутрішнім станом — форма, у якій рекурентні мережі працюють досі.
Мережа передбачала наступне слово в реченні. Аналіз прихованого шару показав, що вона сама згрупувала слова в іменники, дієслова і живе проти неживого, хоча ніхто не давав їй ні категорій, ні розмітки. Схему з рекурентними зв'язками першим описав Джордан 1986 року, з виходу мережі; Елман повертає на вхід прихований шар. Про межі Елман пише обережно: пам'ять обмежена, бо повторне застосування функції активації дає експоненційне згасання, а ємність пам'яті він називає відкритим питанням; формально це пояснив Хохрайтер наступного року.