o3 на ARC-AGI
Модель o3 набрала 75,7 відсотка на змаганні ARC-AGI за звичайного бюджету обчислень і 87,5 — за високого; попередній рекорд становив близько третини.
Чому це важливо
Випробування, зроблене навмисне таким, щоб його не можна було взяти масштабуванням, узяли масштабуванням — але обчислень під час відповіді.
ARC-AGI складається із задач на впізнавання правила з кількох прикладів; кожна задача нова, і завчити її з даних неможливо. Франсуа Шолле придумав його у 2019-му саме як межу для мовних моделей, і п'ять років вона трималася. o3 подолала її, витрачаючи на одну задачу тисячі доларів обчислень у високому режимі. Сам Шолле назвав результат справжнім стрибком, але застеріг, що це не загальний інтелект: залишилися задачі, легкі для людини й недоступні моделі. Модель на той момент була лише оголошена, публічний доступ відкрився у квітні наступного року.