Три епохи обчислень: 21, 6 і 10 місяців
11 лютого 2022 року Epoch AI звела обчислення для навчання 123 знакових систем від 1952 року й поділила історію на три епохи. До 2010 року обсяг подвоювався кожні 21,3 місяця; з 2010-го — кожні 5,7 місяця; а з вересня 2015 року окремий ряд найбільших моделей подвоюється кожні 9,9 місяця, починаючись на порядок-два вище за попередній тренд.
Чому це важливо
Темп зростання обчислень доти називали одним числом на весь період, і числа різних робіт розходилися втричі. Поділ на три ряди пояснив розбіжність: різні автори міряли різні епохи одним інструментом. Ця розмітка стала тим, до чого відтоді приставляють будь-яку оцінку майбутньої потреби в потужності.
Довірчі інтервали: 17,0–29,3 місяця до 2010 року на 19 системах, 4,3–9,0 на 72 системах у 2010–2022 роках, 7,7–17,1 на 16 найбільших моделях. Числа в різних місцях статті різні, і це варто знати наперед. Абстракт каже «приблизно 20 місяців» до 2010 року, таблиця — 21,3, висновок — 18. Малюнок 1 підписано 118 системами, абстракт каже 123. Абстракт оцінює відрив великих моделей у 10–100 разів, висновок — у два-три порядки. Чого запис не стверджує. Про енергію тут немає нічого: слово energy трапляється в статті один раз, у списку літератури. Це вимір попиту на обчислення, а не на потужність, і закон Мура названо орієнтиром темпу, а не показником ефективності на ват.