LSTM
LSTM запропоновано для залежностей у послідовностях.
Чому це важливо
LSTM розв’язувала проблему збереження інформації в довгих послідовностях.
Її результат стосується рекурентної архітектури, а не кожної пізнішої мовної моделі.
Дослідження · листопад 1997 р.
Розміщено за датою сучасного події першоджерела. Точна дата події невідома; нижче наведено підтверджений часовий інтервал.
Відомості про подію
- Дата події
- 1997
- Дата на часовій лінії
- Дата первинної публікації
- Перевірка
- Джерела зібрано автоматично · 11 вересня 2026 р.
- Лінії
- ID
- evt-0005
Джерела
- першоджерело Long Short-Term Memory
Neural Computation · Опубліковано листопад 1997 р.
Пов’язані події
- Пов’язано Зворотне поширення
Рекурентну архітектуру навчають градієнтним методом, популяризованим раніше.
Записи, що посилаються на цей
- Спирається на Sequence-to-sequence
Автори прямо використовують багатошарові LSTM-мережі для кодування вхідної послідовності й формування перекладу.
Sequence to Sequence Learning - Пов’язано Пошук структури в часі
Рекурентна схема, обмеження якої LSTM потім і розв'язує.
- Пов’язано Проблема зникомого градієнта
LSTM 1997 року — пряма відповідь саме на цю діагностику.
- Пов’язано Чому далекі залежності не вивчаються
Разом із роботою Хохрайтера обґрунтовує потребу в новій рекурентній схемі.
- Пов’язано Mamba
Модель належить до лінії рекурентних схем із керованим станом.
- Спирається на Керований рекурентний блок (GRU)
Препринт каже, що новий прихований блок натхненний LSTM, але значно простіший.
Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation