CLIP
CLIP навчав спільні представлення зображень і тексту.
Чому це важливо
Ця робота поєднала представлення зображень і тексту без спеціального набору міток для задачі.
Дані з вебу можуть переносити в модель упередження й шум.
Запис атласу: https://www.aitimeline.dev/uk/events/evt-0015/
Дослідження · 5 січня 2021 р.
Відомості про подію
- Дата події
- 5 січня 2021 р.
- Дата на часовій осі
- Дата події
- Перевірка
- Джерела зібрано автоматично · 11 вересня 2026 р.
- Лінії
- ID
- evt-0015
Джерела
- першоджерело CLIP: Connecting text and images
OpenAI · Опубліковано 5 січня 2021 р.
- першоджерело CLIP
arXiv · Опубліковано 26 лютого 2021 р.
Пов’язані події
Раніше
- Спирається на Transformer 2017
Текстовий encoder CLIP використовує Transformer; це підтверджує технічна стаття, додана поряд з анонсом.
- CLIP · arXiv
Пізніше
- Спирається на LAION-400M: пари «зображення — підпис» у відкритому доступі 2021посилається на цей запис
Пари відбирала сама CLIP: лишалися ті, де косинус між вкладеннями тексту й зображення не менший за 0,3.
- LAION-400-MILLION OPEN DATASET · LAION
- Спирається на Flamingo: зір і мова з кількох прикладів 2022посилається на цей запис
Зоровий кодер Flamingo попередньо навчено контрастно «на кшталт CLIP», з дволанковою контрастною втратою зі статті про CLIP.
- Flamingo: a Visual Language Model for Few-Shot Learning (arXiv:2204.14198v1) · arXiv (DeepMind)
- Пов’язано Stable Diffusion 2022посилається на цей запис
Текстову умову подано через подання, навчене зіставляти текст і зображення.
- Спирається на LLaVA: відкритий асистент, що бачить 2023посилається на цей запис
Зоровий кодер LLaVA — попередньо навчений CLIP ViT-L/14, з'єднаний із мовною моделлю однією лінійною проєкцією.
- Пов’язано Muse Image і Muse Video 2026посилається на цей запис
Обидва підходи пов’язують текст і зображення: CLIP зіставляє їх, а Muse Image генерує зображення. Пряма залежність моделей не стверджується.