Запис атласу: https://www.aitimeline.dev/uk/events/evt-0011/
Дослідження · 12 червня 2017 р.
Transformer застосував увагу без рекурентних шарів.
Ця робота замінила рекурентність увагою й зробила обчислення послідовностей більш паралельним.
Стаття описує експерименти з перекладу й синтаксичного аналізу, а не універсальну здатність.
arXiv · Опубліковано 12 червня 2017 р.
Advances in Neural Information Processing Systems 30 (NIPS 2017), NeurIPS proceedings · Опубліковано 2017
Transformer розвиває увагу як спосіб вибору важливих частин послідовності, відмовляючись від рекурентної обробки. Стаття цитує роботу Bahdanau та співавторів.
Модель є декодером трансформера.
BERT використовує двоспрямований Transformer-encoder, прямо описаний у статті.
Бібліотека зібрала під один інтерфейс саме ті архітектури, що виросли з цієї статті.
Технічний опис GPT-2 вказує на мовне моделювання з архітектурою Transformer.
NeRF кодує координати синусоїдами й пише, що подібне відображення в Transformer називають позиційним кодуванням, хоч там воно має іншу мету.
Трансформер застосовано до зображень, поділених на клаптики.
Механізм уваги застосовано до пар амінокислотних залишків.
Текстовий encoder CLIP використовує Transformer; це підтверджує технічна стаття, додана поряд з анонсом.
RoPE змінює те, як трансформер кодує позицію: замість вектора, доданого до входу, позиція входить у саму самоувагу через матрицю обертання.
Апаратний блок спроєктовано під механізм уваги.
FlashAttention обчислює ту саму точну увагу трансформера, що й стандартна реалізація, змінюючи лише порядок читань і записів у пам'ять GPU.
Керує саме кешем ключів і значень тієї уваги, яку описала ця стаття.
Перша серйозна альтернатива увазі, що не має квадратичної вартості за довжиною.
Квадратична вартість уваги була головною перешкодою для довгого контексту.
Теоретична відзначена стаття міряє силу цієї архітектури тим, наскільки стисло вона кодує поняття порівняно з рекурентними мережами.
Одна з трьох найкращих статей описує виразність локальної уваги в цій архітектурі.