o3 на ARC-AGI
Модель o3 набрала 75,7 відсотка на змаганні ARC-AGI за звичайного бюджету обчислень і 87,5 — за високого, як їх виміряв ARC Prize; 75,7 стало першим місцем у його публічному рейтингу за ліміту обчислень у 10 000 доларів.
Чому це важливо
Випробування, зроблене навмисне таким, щоб його не можна було взяти масштабуванням, узяли масштабуванням — але обчислень під час відповіді.
ARC-AGI складається із задач на впізнавання правила з кількох прикладів; кожна задача нова, і завчити її з даних неможливо. Франсуа Шолле придумав його у 2019-му саме як межу для мовних моделей. Власна сторінка ARC Prize каже, що від 0 % у GPT-3 2020 року до 5 % у GPT-4o 2024 року минуло чотири роки, але спеціалізовані методи давали набагато більше: проста повна перебірка досягала до 50 % багато років тому, а великий ансамбль малообчислювальних рішень із Kaggle дає 81 % на закритому наборі. o3 подолала її, витрачаючи на одну задачу тисячі доларів обчислень у високому режимі. Сам Шолле назвав результат справжнім стрибком, але застеріг, що це не загальний інтелект: залишилися задачі, легкі для людини й недоступні моделі. Модель на той момент була лише оголошена, публічний доступ відкрився у квітні наступного року.