Тензорні ядра NVIDIA
NVIDIA додала в архітектуру Volta окремі блоки для множення невеликих матриць зі зниженою точністю — саме тієї операції, з якої складається навчання.
Чому це важливо
Графічний процесор перестав бути пристосованим залізом і став спеціалізованим, зберігши при цьому універсальність і екосистему.
До Volta мережі рахували на блоках, призначених для графіки. Тензорні ядра виконують множення матриць чотири на чотири за один такт у змішаній точності. Приріст склав кілька разів на тих самих задачах. Відповідь на появу TPU була швидкою і визначила подальше суперництво: спеціалізовані чипи проти універсальних прискорювачів із великою екосистемою.