GSM8K: шкільні задачі й верифікатор
27 жовтня 2021 року Карл Коббе й співавтори з OpenAI оприлюднили GSM8K — 8,5 тисячі текстових задач шкільної математики (7,5 тисячі навчальних і тисяча тестових), кожна на 2–8 кроків. Разом із набором вони запропонували верифікатор, який оцінює кандидатні розв'язки моделі й вибирає найкращий.
Чому це важливо
Задачі концептуально прості, але навіть найбільші моделі не розв'язували їх надійно, тож набір виміряв саме багатокрокове міркування. Верифікатор дав приблизно той самий приріст, що й збільшення моделі в 30 разів, — ранній вимір того, що обчислення під час відповіді може частково заступити розмір.
Автори екстраполювали, що для 80 % розв'язків знадобилася б модель близько 10^16 параметрів. Першу тисячу задач написали фрилансери, найняті через Upwork, решту — через платформу розмітки Surge AI; потім кожну задачу перерозв'язав інший виконавець, розбіжності виправили або відкинули, і за вибірковою перевіркою 1,7 % задач лишилися спірними. Запис не наводить точності окремих моделей: у тексті препринта вони є лише на графіках.