Три відсотки бюджету навчання на одну мову
16 квітня 2023 року група Maritaca AI показала Sabiá — LLaMA 7B, LLaMA 65B і GPT-J, донавчені португальською на 3 % або менше від їхнього початкового бюджету навчання. На наборі з 14 португальських задач Poeta модель Sabiá-65B трохи випередила GPT-3.5-turbo, основу тодішнього ChatGPT.
Чому це важливо
Доти вибір для мови поза першою десяткою стояв так: або чекати, поки її додадуть до наступної багатомовної моделі, або будувати свою з нуля. Робота показала третій шлях і його ціну — кілька відсотків чужого бюджету навчання, — а заразом розібрала, звідки береться виграш: більше з фактів про країну, ніж із граматики.
Дані взято з португальської частини ClueWeb22 і відфільтровано якісними фільтрами MassiveText, пристосованими до португальської. Токенізатор GPT-J дає на цьому корпусі 7,8 мільярда токенів, токенізатор LLaMA — 7,3 мільярда; навчання пройшло на 10,4 мільярда токенів, тобто 1,52 епохи. Модель на 7 мільярдів параметрів давала 124 тисячі токенів за секунду при використанні 45,2 % пікової продуктивності, на 65 мільярдів — 14 тисяч при 47,4 %. Автори окремо розділили дві причини виграшу: набори, складені одразу португальською, виграли більше за перекладені, тож головна частина приросту припадає на знання про предметну область і культуру, а не на граматичні тонкощі. Чого запис не стверджує. Корпусу на 14 мільярдів токенів під назвою Cláudio, який назвав звіт, у статті немає: слово Cláudio трапляється нуль разів, «14 мільярдів» — нуль разів. Немає й твердження, що Sabiá-65B перевершила LLaMA-65B на всіх 14 завданнях; стаття каже про помітний приріст загалом і про те, що для 65-мільярдної моделі приріст ішов переважно з рідних, а не перекладених наборів. Запис не стверджує, що ваги відкрито цього дня.