pix2pix: одна модель для перетворень зображень

21 листопада 2016 року Філліп Ізола, Олексій Ефрос і співавтори з Берклі показали, що умовна змагальна мережа з тією самою архітектурою й ціллю перетворює зображення на зображення в багатьох задачах: мітки на вуличні сцени, аерофото на карти, день на ніч, контури на фото.

Чому це важливо

Задачі, для кожної з яких раніше писали окремий алгоритм, звелися до однієї моделі, яку лише навчають на інших парах. Втрату для кожної задачі теж не треба було конструювати вручну: її вчить дискримінатор.

Генератор — типу U-Net, дискримінатор PatchGAN оцінює окремі ділянки зображення. В експерименті на Amazon Mechanical Turk аерофото, згенеровані з карт, обманули учасників у 18,9 % спроб — значно більше, ніж базова модель із втратою L1.

Відомості про подію

Дата події

21 листопада 2016 р.

Дата на часовій осі

Дата події

Перевірка

Джерела зібрано автоматично · 25 вересня 2026 р.

Лінії

Генеративні медіа

ID

evt-0759

День подання першої версії препринта; числа прочитано в ній.

Джерела

першоджерело Image-to-Image Translation with Conditional Adversarial Networks (arXiv:1611.07004v1)
arXiv · Опубліковано 21 листопада 2016 р.
першоджерело Image-To-Image Translation With Conditional Adversarial Networks
CVPR 2017 (CVF Open Access) · Опубліковано 2017

Пов’язані події

Раніше

Спирається на U-Net: сегментація з кількох знімків 2015
Генератор pix2pix — мережа типу U-Net зі з'єднаннями в обхід, і стаття показує, що з ними результати значно кращі.
- Image-to-Image Translation with Conditional Adversarial Networks (arXiv:1611.07004v1) · arXiv
Спирається на Генеративно-змагальні мережі 2014
pix2pix — умовна змагальна мережа: генератор вчиться обманювати дискримінатор, як у GAN 2014 року, на який стаття посилається.
- Image-to-Image Translation with Conditional Adversarial Networks (arXiv:1611.07004v1) · arXiv
Уможливлює Image Analogies: фільтр за парою прикладів 2001посилається на цей запис
pix2pix цитує Image Analogies у першому ж абзаці серед окремих методів перекладу зображення в зображення і вдруге — серед моделей стилю, на яких стоїть його дискримінатор.
- Image-to-Image Translation with Conditional Adversarial Networks (arXiv:1611.07004v1) · arXiv
Уможливлює Текстура, вирощена із зразка 1999посилається на цей запис
pix2pix пише, що його дискримінатор моделює зображення як марковське поле — «звичне припущення в моделях текстури», і першою називає саме цю статтю.
- Image-to-Image Translation with Conditional Adversarial Networks (arXiv:1611.07004v1) · arXiv