Виміряно людський базовий рівень для ARC-AGI-3
ARC Prize провела дослідження з 458 учасниками й змінила нормування: сто відсотків тепер означає проходження кожного рівня не гірше за медіанну людську ефективність дій.
Чому це важливо
З'явився знаменник, без якого пізніші відсотки на цьому тесті нічого не означали, і його виміряно на людях у тих самих умовах першого проходження.
Дослідження опубліковано 14 квітня 2026 року: 458 учасників, щотижневі особисті сесії в тестовому центрі в Сан-Франциско по 90 хвилин, умови першого проходження — кожне середовище учасник бачить лише раз. Базова винагорода — близько 130 доларів плюс 5 доларів за кожне розв'язане середовище. Кожне середовище пройшли щонайменше двоє незалежних учасників, більшість — значно більше. Серед 25 публічних демонстраційних середовищ частка проходжень коливається від ста відсотків, 10 розв'язань із 10 спроб на завданні r11l, до 14 відсотків, 2 із 14 на bp35. Нормувальний базовий рівень перенесено з другого найкращого гравця на медіанного: відтепер сто відсотків для ШІ означає проходження кожного рівня кожного середовища не гірше за медіанну людську ефективність дій. Людські й машинні учасники отримували однакову інформацію.