Пошук структури в часі
Елман додав мережі контекстний шар, що зберігає її власний попередній стан, і показав, що так вона вивчає структуру послідовності.
Чому це важливо
Час перестав бути додатковим входом і став внутрішнім станом — форма, у якій рекурентні мережі працюють досі.
Мережа передбачала наступне слово в реченні. Аналіз прихованого шару показав, що вона сама згрупувала слова в іменники, дієслова і живе проти неживого, хоча ніхто не давав їй ні категорій, ні розмітки. Елман показав і межу: чим далі залежність, тим слабший сигнал, — те саме, що Хохрайтер формально пояснив наступного року.