NVIDIA H100
Нове покоління отримало окремий блок для трансформерів — залізо спроєктували під конкретну архітектуру моделі.
Чому це важливо
Коло замкнулося: спершу метод пристосовували до заліза, тепер залізо проєктують під метод, названий у статті 2017 року.
Блок автоматично обирає точність для кожного шару трансформера, що прискорює навчання без втрати якості. Це показовий момент: назва архітектури нейронної мережі з'явилася в описі мікросхеми. Попит на ці прискорювачі наприкінці 2022 року перевищив пропозицію настільки, що доступ до них став обмежувальним чинником для цілих компаній.