Дослідження · 21 листопада 2016 р.

pix2pix: одна модель для перетворень зображень

21 листопада 2016 року Філліп Ізола, Олексій Ефрос і співавтори з Берклі показали, що умовна змагальна мережа з тією самою архітектурою й ціллю перетворює зображення на зображення в багатьох задачах: мітки на вуличні сцени, аерофото на карти, день на ніч, контури на фото.

Чому це важливо

Задачі, для кожної з яких раніше писали окремий алгоритм, звелися до однієї моделі, яку лише навчають на інших парах. Втрату для кожної задачі теж не треба було конструювати вручну: її вчить дискримінатор.

Генератор — типу U-Net, дискримінатор PatchGAN оцінює окремі ділянки зображення. В експерименті на Amazon Mechanical Turk аерофото, згенеровані з карт, обманули учасників у 18,9 % спроб — значно більше, ніж базова модель із втратою L1.

Відомості про подію

Дата події

21 листопада 2016 р.

Дата на часовій лінії

Дата події

Перевірка

Джерела зібрано автоматично · 25 вересня 2026 р.

Лінії

Генеративні медіа

ID

evt-0759

День подання першої версії препринта; числа прочитано в ній.

Джерела

першоджерело Image-to-Image Translation with Conditional Adversarial Networks (arXiv:1611.07004v1)
arXiv · Опубліковано 21 листопада 2016 р.

Пов’язані події

Спирається на Генеративно-змагальні мережі
pix2pix — умовна змагальна мережа: генератор вчиться обманювати дискримінатор, як у GAN 2014 року, на який стаття посилається.
Image-to-Image Translation with Conditional Adversarial Networks (arXiv:1611.07004v1)
Спирається на U-Net: сегментація з кількох знімків
Генератор pix2pix — мережа типу U-Net зі з'єднаннями в обхід, і стаття показує, що з ними результати значно кращі.
Image-to-Image Translation with Conditional Adversarial Networks (arXiv:1611.07004v1)

Записи, що посилаються на цей

Уможливлює Текстура, вирощена із зразка
pix2pix пише, що його дискримінатор моделює зображення як марковське поле — «звичне припущення в моделях текстури», і першою називає саме цю статтю.
Image-to-Image Translation with Conditional Adversarial Networks (arXiv:1611.07004v1)
Уможливлює Image Analogies: фільтр за парою прикладів
pix2pix цитує Image Analogies у першому ж абзаці серед окремих методів перекладу зображення в зображення і вдруге — серед моделей стилю, на яких стоїть його дискримінатор.
Image-to-Image Translation with Conditional Adversarial Networks (arXiv:1611.07004v1)