Слід BLOOM: не тільки струм
3 листопада 2022 року вийшов облік повного життєвого циклу відкритої моделі BLOOM на 176 мільярдів параметрів. Навчання на 384 прискорювачах A100 у французькому центрі IDRIS тривало 118 діб і спожило 433 196 кВт·год. Струм дав 24,69 тонни CO2-еквівалента, виготовлення обладнання — 11,2, холостий хід кластера — 14,6; разом 50,5 тонни.
Чому це важливо
Попередні підрахунки закінчувалися на спожитій електриці. Тут уперше поруч поставлено три доданки — струм, виробництво заліза й простій — і виявилося, що на сам струм припадає менше половини. Відтоді облік, який рахує лише лічильник, видно як неповний, а не як повний.
Частки: динамічне споживання 48,9 %, втілені викиди 22,2 %, простій 28,9 %. Вуглецева інтенсивність французької мережі — 57 грамів CO2-еквівалента на кіловат-годину, тобто приблизно у сім із половиною разів нижча за ту, яку мав дата-центр із попереднього запису. При вдесятеро меншому споживанні струму це й дає різницю між 552 тоннами і 25. Прогін тривав 118 діб 5 годин 41 хвилину й забрав 1 082 990 годин прискорювача — у середньому 384 штуки на 48 вузлах. Чого запис не стверджує. Втілені викиди — оцінка, а не вимір: автори взяли опубліковані 2500 кг на сервер HPE і зовнішню оцінку близько 150 кг на прискорювач, бо NVIDIA свого числа не публікує. Стаття називає себе першою спробою порахувати ширший слід великої мовної моделі; це її власне формулювання.