MATH: задачі математичних змагань
5 березня 2021 року Ден Гендрікс і співавтори з Берклі та Чиказького університету оприлюднили MATH — 12 500 задач зі шкільних математичних змагань (7 500 навчальних і 5 000 тестових) із покроковими розв'язками, у семи розділах і п'яти рівнях складності. Великі мовні моделі розв'язували від 2,9 до 6,9 %.
Чому це важливо
Набір показав, що масштаб сам не закриває математику: точність росла з розміром моделі повільно, і автори оцінили, що за лінійного в логарифмі тренду для 40 % знадобилося б близько 10^35 параметрів. Згодом на MATH вимірюють міркування моделей, зокрема в записах атласу 2024–2025 років.
Разом із набором автори зібрали AMPS — допоміжний корпус для попереднього навчання: задачі Khan Academy і близько 5 мільйонів задач, згенерованих 100 скриптами Mathematica, понад 23 ГБ. Людей теж перевірили на 20 задачах: студент-доктор з інформатики, який не любить математику, — близько 40 %, триразовий золотий медаліст Міжнародної математичної олімпіади — 90 %. 6,9 % дала GPT-2 на 1,5 мільярда параметрів, попередньо навчена на AMPS і дообучена на MATH.