Запис атласу: https://www.aitimeline.dev/uk/events/evt-0241/
Дослідження · жовтень 2020 р.
Трансформер для зображень
Зображення поділили на клаптики і подали трансформеру як послідовність слів — і за великих даних він перевершив згорткові мережі.
Чому це важливо
Дві галузі, що вісім років розвивалися окремо, зійшлися на одній архітектурі — передумова мультимодальних моделей.
Згортка вбудовує в мережу припущення про локальність і незмінність до зсуву, що дуже допомагає на малих даних. Стаття показала, що за достатнього обсягу модель вивчає це сама, а вбудоване припущення стає обмеженням. Наслідок ширший за зір: одна архітектура для тексту, зображень і звуку зробила можливими CLIP, DALL-E і все, що працює з кількома модальностями одночасно.
Відомості про подію
- Дата події
- жовтень 2020 р.
- Дата на часовій осі
- Дата події
- Перевірка
- Джерела зібрано автоматично · 17 вересня 2026 р.
- Лінії
- ID
- evt-0241
Препринт від 22 жовтня 2020 року; доповідь на ICLR 2021.
Пов’язані події
Раніше
- Розвиває Transformer 2017
Трансформер застосовано до зображень, поділених на клаптики.
- Пов’язано AlexNet в ImageNet 2012
Згортка, що панувала в зорі з 2012 року, виявилася необов'язковою за достатніх даних.
Пізніше
- Пов’язано Gemini 1.0 2023посилається на цей запис
Єдина архітектура для тексту, зображень і звуку зробила таке навчання можливим.
- Пов’язано Sora 2024посилається на цей запис
Та сама ідея різати вхід на латки й обробляти їх трансформером, застосована до відео.