NVIDIA A100
Нове покоління прискорювачів дало вчетверо більшу продуктивність на навчанні й можливість ділити один пристрій між задачами.
Чому це важливо
Залізо, на якому навчали моделі рівня GPT-3, — і одиниця, у якій відтоді рахують вартість передових досліджень.
Кількість прискорювачів стала звичною мірою масштабу проєкту: моделі описують не лише параметрами, а й тисячами пристроїв і місяцями навчання. Це закріпило нерівність доступу, про яку йшлося в записі про угоду Microsoft і OpenAI. Наприкінці 2022 року експорт цих прискорювачів до Китаю обмежили, і залізо стало предметом зовнішньої політики.