ARC-AGI-3 і 0,51 відсотка
Фонд ARC Prize випустив інтерактивне випробування із сотень покрокових середовищ, де правила треба відкрити самому. Люди набирають 100 відсотків, передові моделі — 0,51.
Чому це важливо
Розрив, який на попередньому випробуванні закрили за п'ять років, відкрився знову — і цього разу не в задачах, а в дії.
Попередні версії ARC складалися зі статичних задач: показали приклади, дай відповідь. Тут агент потрапляє в середовище, де ніхто не пояснює ні мети, ні правил, і має з'ясувати їх діями. Саме це виявилося непереборним: моделі, що беруть 85 відсотків на ARC-AGI-2, тут не дають і одного. Разом із випробуванням оголосили конкурс на понад два мільйони доларів. Значення для стрічки в тому, що вимір знову випереджає системи, а не навпаки.