Бенчмарк · 2012
Глибока згорткова мережа знизила помилку в ImageNet.
Результат у бенчмарку зробив глибоке згорткове навчання центральним підходом у комп’ютерному зорі.
Результат стосується саме завдання ImageNet і його способу оцінювання.
NeurIPS · Опубліковано 2012
У роботі AlexNet мережу навчають і оцінюють на зображеннях ImageNet. Це пряме використання попереднього набору даних.
ImageNet ClassificationСтаття про AlexNet описує навчання на GPU з використанням цієї платформи.
ImageNet ClassificationОбидві моделі розпізнають зображення шарами локальних ознак; пізніша працювала на значно більших даних і GPU.
Обидві роботи стосуються глибоких згорткових мереж для зображень; пізніша знімає обмеження на глибину.
AlexNet 2012 року — та сама архітектура, збільшена і перенесена на графічний процесор.
LeNet-5 і набір MNIST стали прямою основою для AlexNet.
Ознаки тут задано вручну; згорткові мережі згодом їх вивчатимуть.
Рецепт, за яким через три роки навчили AlexNet.
Змагання, яке AlexNet виграла 2012 року.
AlexNet 2012 року використовує саме цю нелінійність.
Два способи довести те саме того самого року: масштаб дає ознаки.
Стан подано пікселями екрана через згорткову мережу.
Playing Atari with Deep Reinforcement LearningМодель побудовано на згортках, тільки причинних і з розширенням.
WaveNet: A generative model for raw audioЗгортка, що панувала в зорі з 2012 року, виявилася необов'язковою за достатніх даних.
Архітектури на кшталт AlexNet стали доступні як готові моделі з вагами.
Стаття AlexNet (розділ 4.2) називає dropout нещодавно запропонованою технікою, застосовує його з імовірністю 0,5 у перших двох повнозв'язних шарах і пише, що без нього мережа суттєво перенавчається.
ImageNet Classification with Deep Convolutional Neural NetworksR-CNN бере згорткову мережу Крижевського й співавторів, попередньо навчену на ILSVRC 2012, і донавчає її на регіонах для детекції.
Rich feature hierarchies for accurate object detection and semantic segmentation (arXiv:1311.2524v1)Стаття називає глибокі згорткові мережі Крижевського й співавторів тим, що зробило можливим її підхід.
DeepFace: Closing the Gap to Human-Level Performance in Face Verification