Дослідження · 12 червня 2017 р.
Transformer застосував увагу без рекурентних шарів.
Ця робота замінила рекурентність увагою й зробила обчислення послідовностей більш паралельним.
Стаття описує експерименти з перекладу й синтаксичного аналізу, а не універсальну здатність.
arXiv · Опубліковано 12 червня 2017 р.
Transformer розвиває увагу як спосіб вибору важливих частин послідовності, відмовляючись від рекурентної обробки. Стаття цитує роботу Bahdanau та співавторів.
Attention Is All You NeedBERT використовує двоспрямований Transformer-encoder, прямо описаний у статті.
BERTТехнічний опис GPT-2 вказує на мовне моделювання з архітектурою Transformer.
GPT-2Текстовий encoder CLIP використовує Transformer; це підтверджує технічна стаття, додана поряд з анонсом.
CLIPМодель є декодером трансформера.
Improving Language Understanding by Generative Pre-TrainingМеханізм уваги застосовано до пар амінокислотних залишків.
AlphaFold: a solution to a 50-year-old grand challenge in biologyТрансформер застосовано до зображень, поділених на клаптики.
An Image is Worth 16x16 Words: Transformers for Image Recognition at ScaleАпаратний блок спроєктовано під механізм уваги.
Перша серйозна альтернатива увазі, що не має квадратичної вартості за довжиною.
Mamba: Linear-Time Sequence Modeling with Selective State SpacesКвадратична вартість уваги була головною перешкодою для довгого контексту.
Теоретична відзначена стаття міряє силу цієї архітектури тим, наскільки стисло вона кодує поняття порівняно з рекурентними мережами.
Announcing the ICLR 2026 Outstanding PapersОдна з трьох найкращих статей описує виразність локальної уваги в цій архітектурі.
Best Paper Awards - ACL 2026Бібліотека зібрала під один інтерфейс саме ті архітектури, що виросли з цієї статті.
HuggingFace's Transformers: State-of-the-art Natural Language ProcessingКерує саме кешем ключів і значень тієї уваги, яку описала ця стаття.
Efficient Memory Management for Large Language Model Serving with PagedAttentionRoPE змінює те, як трансформер кодує позицію: замість вектора, доданого до входу, позиція входить у саму самоувагу через матрицю обертання.
RoFormer: Enhanced Transformer with Rotary Position EmbeddingFlashAttention обчислює ту саму точну увагу трансформера, що й стандартна реалізація, змінюючи лише порядок читань і записів у пам'ять GPU.
FlashAttention: Fast and Memory-Efficient Exact Attention with IO-AwarenessNeRF кодує координати синусоїдами й пише, що подібне відображення в Transformer називають позиційним кодуванням, хоч там воно має іншу мету.
NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis (arXiv:2003.08934v1)