Запис атласу: https://www.aitimeline.dev/uk/events/evt-0270/
Доступність · березень 2022 р.
NVIDIA H100
Нове покоління отримало окремий блок для трансформерів — залізо спроєктували під конкретну архітектуру моделі.
Чому це важливо
Коло замкнулося: спершу метод пристосовували до заліза, тепер залізо проєктують під метод, названий у статті 2017 року.
Блок автоматично обирає точність для кожного шару трансформера, що прискорює навчання без втрати якості. Це показовий момент: назва архітектури нейронної мережі з'явилася в описі мікросхеми. До 2023 року попит на ці прискорювачі перевищив пропозицію: The Batch у серпні 2023 року писав, що хмарні провайдери почали мати труднощі зі знаходженням GPU на початку того року, а нестача поширилася на компанії ШІ великі й малі, тож доступ до них став обмежувальним чинником для цілих компаній. Власне оголошення NVIDIA від 22 березня 2022 року називало доступність із третього кварталу 2022 року й обіцяло прискорення трансформерних мереж до 6 разів.
Відомості про подію
- Дата події
- березень 2022 р.
- Дата на часовій осі
- Дата події
- Перевірка
- Джерела зібрано автоматично · 17 вересня 2026 р.
- Лінії
- ID
- evt-0270
Архітектуру Hopper оголошено в березні 2022 року.
Пов’язані події
Раніше
- Розвиває NVIDIA A100 2020
Наступне покоління, з блоком, розрахованим саме на трансформери.
- Пов’язано Transformer 2017
Апаратний блок спроєктовано під механізм уваги.
Пізніше
- Уможливлює HBM3 під H100 2022посилається на цей запис
Прес-реліз називає покупця на ім'я: HBM3 іде в H100, і постачання узгоджено з графіком відвантаження систем Hopper у третьому кварталі 2022 року.
- Пов’язано QLoRA 2023посилається на цей запис
Замість більшого заліза — менша точність і менше параметрів, що змінюються.
- Розвиває Blackwell 2024посилається на цей запис
Наступне покоління після Hopper, від того самого виробника.
- Пов’язано NVIDIA стає найдорожчою компанією світу 2024посилається на цей запис
Попит саме на ці прискорювачі й дав виторг, що стояв за оцінкою.