CLIP
CLIP навчав спільні представлення зображень і тексту.
Чому це важливо
Ця робота поєднала представлення зображень і тексту без спеціального набору міток для задачі.
Дані з вебу можуть переносити в модель упередження й шум.
Дослідження · 5 січня 2021 р.
Відомості про подію
- Дата події
- 5 січня 2021 р.
- Дата на часовій лінії
- Дата події
- Перевірка
- Джерела зібрано автоматично · 11 вересня 2026 р.
- Лінії
- ID
- evt-0015
Джерела
- першоджерело CLIP: Connecting text and images
OpenAI · Опубліковано 5 січня 2021 р.
- першоджерело CLIP
arXiv · Опубліковано 26 лютого 2021 р.
Пов’язані події
- Спирається на Transformer
Текстовий encoder CLIP використовує Transformer; це підтверджує технічна стаття, додана поряд з анонсом.
CLIP
Записи, що посилаються на цей
- Пов’язано Muse Image і Muse Video
Обидва підходи пов’язують текст і зображення: CLIP зіставляє їх, а Muse Image генерує зображення. Пряма залежність моделей не стверджується.
- Пов’язано Stable Diffusion
Текстову умову подано через подання, навчене зіставляти текст і зображення.
- Спирається на LAION-400M: пари «зображення — підпис» у відкритому доступі
Пари відбирала сама CLIP: лишалися ті, де косинус між вкладеннями тексту й зображення не менший за 0,3.
LAION-400-MILLION OPEN DATASET - Спирається на Flamingo: зір і мова з кількох прикладів
Зоровий кодер Flamingo попередньо навчено контрастно «на кшталт CLIP», з дволанковою контрастною втратою зі статті про CLIP.
Flamingo: a Visual Language Model for Few-Shot Learning (arXiv:2204.14198v1) - Спирається на LLaVA: відкритий асистент, що бачить
Зоровий кодер LLaVA — попередньо навчений CLIP ViT-L/14, з'єднаний із мовною моделлю однією лінійною проєкцією.
Visual Instruction Tuning (arXiv:2304.08485v1)