Ціна навчання у кіловат-годинах і тоннах
5 червня 2019 року Массачусетський університет в Амгерсті порахував енергію та викиди навчання мовних моделей у фізичних одиницях. Повний архітектурний пошук для трансформера оцінено у 274 120 годин на восьми прискорювачах P100, 656 347 кВт·год і 626 155 фунтів CO2-еквівалента — приблизно вп'ятеро більше, ніж автомобіль викидає за весь термін служби разом із паливом.
Чому це важливо
Доти обчислювальну вартість вимірювали годинами й доларами, а електрику й викиди не рахували взагалі. Стаття дала метод: опитувати драйвер прискорювача, помножити на коефіцієнт ефективності дата-центру й на середню вуглецеву інтенсивність мережі. Відтоді енергію стало можливо вимагати як число в самій публікації, і наступні роботи цієї лінії посилаються саме на цей рахунок.
Коефіцієнт ефективності дата-центру взято 1,58 — світове середнє за 2018 рік; перерахунок у викиди йде за 0,954 фунта CO2-еквівалента на кіловат-годину, середнім по мережі США. Таблиця порівнянь у статті: переліт Нью-Йорк — Сан-Франциско на одного пасажира 1984 фунти, рік життя американця 36 156, автомобіль за весь термін служби з паливом 126 000. Сам трансформер коштує 192 фунти, він же з архітектурним пошуком — 626 155. Хмарна оренда під такий пошук оцінена в 942 973 — 3 201 722 долари. Чого запис не стверджує. 274 120 годин — не власний прогін авторів, а перерахунок на вісім P100 тих 979 мільйонів кроків навчання, які повідомили автори Evolved Transformer; самі автори вимірювали лічильником менші моделі. Стаття рахує у фунтах, і 284 метричні тонни — переведення, а не її число.