Подвоєння за 2,46 року, а не за рік
27 червня 2022 року Epoch AI виміряла темп здешевлення обчислення на 470 моделях відеокарт за 2006–2021 роки: флопси на долар подвоюються кожні 2,46 року. «Закон Хуанга» — 25-кратне зростання за п'ять років, тобто подвоєння за 1,08 року — з даними не узгоджується.
Чому це важливо
До цього темп здешевлення заліза був або маркетинговою заявою, або оцінкою на малій вибірці з розкидом від 1,5 до 4,4 року. Тут з'являється число з довірчим інтервалом, і воно повільніше за закон Мура. Усі подальші розрахунки вартості навчання спираються на цю величину або сперечаються з нею.
Результати з таблиці звіту, з 95-відсотковими інтервалами: уся вибірка — 2,46 року [2,24; 2,72], тобто 0,122 порядка величини на рік. Відеокарти, які справді беруть для машинного навчання (26 штук) — 2,07 року [1,54; 3,13]. Найкращі за флопсами на долар у кожному місяці (57 штук) — 2,95 року [2,54; 3,52]. Половинна точність (91 штука) — 2,30 року. Для порівняння звіт кладе поруч закон Мура (2 роки) і «закон Хуанга» (1,08 року з формулювання Дженсена Хуанга «25-кратне поліпшення за п'ять років»). Дві осторóги, яких переказ звичайно не несе. Відхилення для карт машинного навчання не є статистично значущим проти всієї вибірки — а от сповільнення для найкращих карт значуще. І пояснення цього відхилення автори подають як припущення, не як висновок: воно «може пояснюватися тим, що відповідні лабораторії з часом витрачають більше на закупівлю найкращих відеокарт», тобто зміною рішень про закупівлю, а не швидшим прогресом самого заліза. Власний висновок звіту — приблизно 2,5 року. Звіт, з якого зроблено цей запис, подавав другим джерелом препринт «Compute Trends Across Three Eras of Machine Learning» за посиланням arXiv:2311.09227. За цим номером лежить зовсім інша робота — «Open-Sourcing Highly Capable Foundation Models» Елізабет Сеґер і ще двадцяти одного автора, подана 29 вересня 2023 року. Джерело прибрано.