NVIDIA A100
NVIDIA оголосила нове покоління прискорювачів, для якого заявила до 20 разів вищу продуктивність ШІ порівняно з попередниками, і можливість ділити один пристрій на сім окремих GPU.
Чому це важливо
Залізо, на якому навчали моделі рівня GPT-3, — і одиниця, у якій відтоді рахують вартість передових досліджень.
Власні цифри NVIDIA залежать від навантаження. У пресрелізі від 14 травня 2020 року йдеться про «до 20 разів» порівняно з попередниками; це найкращий випадок, TF32 зі структурною розрідженістю. Для змішаної точності FP16/FP32 у глибокому навчанні її стаття для розробників дає 2,5 раза від V100, а з розрідженістю — 5. Кількість прискорювачів стала звичною мірою масштабу проєкту: моделі описують не лише параметрами, а й тисячами пристроїв і місяцями навчання. Це закріпило нерівність доступу, про яку йшлося в записі про угоду Microsoft і OpenAI. Наприкінці 2022 року експорт цих прискорювачів до Китаю обмежили, і залізо стало предметом зовнішньої політики.