Дослідження · червень 2009 р.
Глибокі мережі на графічних процесорах
Райна, Мадгаван і Ин показали, що модель зі ста мільйонами параметрів навчається на графічних процесорах за день замість кількох тижнів.
Чому це важливо
Обчислювальна перешкода, що тримала глибокі мережі малими, зникла — і саме це відкрило дорогу до 2012 року.
Прискорення становило приблизно сімдесятиразове порівняно з центральним процесором. Автори прямо пишуть, що масштаб моделі відтепер обмежений не алгоритмом, а бюджетом на залізо. Це сполучна ланка між CUDA 2007 року і AlexNet 2012-го: спершу показали, що так можна, потім показали, що так виграють.
Відомості про подію
- Дата події
- червень 2009 р.
- Дата на часовій лінії
- Дата події
- Перевірка
- Джерела зібрано автоматично · 17 вересня 2026 р.
- Лінії
- ID
- evt-0213
Доповідь на конференції ICML у червні 2009 року.
Записи, що посилаються на цей
- Пов’язано Мережа Google, що знайшла котів
Той самий рецепт масштабування, але на тисячі машин замість графічних процесорів.
- Пов’язано TensorFlow
Інструмент, що робить розподілене навчання на прискорювачах доступним поза великими компаніями.
- Пов’язано Theano
Компілятор виразів, що сам переносить обчислення на графічний процесор.
- Пов’язано Інститут глибокого навчання Baidu
Ставку зроблено на той самий рецепт: глибокі мережі на графічних процесорах.
- Пов’язано Тензорні ядра NVIDIA
Та сама лінія прискорення навчання, доведена до спеціальних блоків для матриць.
- Пов’язано NVIDIA стає найдорожчою компанією світу
Компанія, чиї ігрові карти випадково стали інструментом навчання мереж, опинилася на вершині ринку.