optstop: коли припинити міряти модель
27 серпня 2026 року британський Інститут безпеки ШІ випустив optstop — відкритий пакет мовою Python, що спиняє оцінювання там, де оцінка вже досить точна, і веде далі там, де невизначеність лишається. У випробуваннях інституту за кожної з дев'яти умов він зберіг від 57 до 97 відсотків запланованих прогонів, не змінивши оцінок.
Чому це важливо
Бюджет оцінювання перестав бути числом, яке доводиться вгадувати наперед. Доти обсяг вибірки обирали до початку, і він не міг відгукнутися на те, де саме бракує певності: частину бюджету витрачали на вже точні виміри, а на важкі випадки його не лишалося. Інструмент від державного оцінювача, ще й відкритий, робить це рішення вимірюваним і перевірним.
Пакет вбудовується в оцінювальну рамку Inspect того самого інституту. Він стежить за вірогідним інтервалом на двох рівнях — повторення всередині завдання й завдання всередині групи, — а на рівні групи зводить дані ієрархічною баєсовою моделлю, що враховує нерівні обсяги вибірок. Зупиняє за одним із двох правил: точність, коли інтервал досить вузький, або стабілізація, коли інтервал перестав змінюватися. Якщо не спрацювало жодне, група добігає повного запланованого бюджету, тож справді шумну оцінку не спинять завчасно. Окремий запобіжник вимагає більше даних, коли оцінена частка успіхів падає нижче одного відсотка: рідкісний успіх і буває суттю випробування. Кожне рішення про зупинку записується разом із підставою. Випробування охопило три види оцінювання — двійкове, порядкове й неперервне — на трьох рівнях очікуваної продуктивності, тобто дев'ять сполучень, на відкритих бенчмарках, серед яких MATH, GPQA Diamond і WritingBench. Задачу інститут ставить так: оцінювання з наперед заданим бюджетом систематично занижують спроможність передових агентних систем, а деякі передові оцінювання вже потребують сотень мільйонів токенів, тож кожен зайвий крок коштує дорого. На відміну від адаптивного добору завдань, пакет не потребує наперед відкаліброваного банку завдань із відомою складністю, і жодне завдання не вилучається з розгляду. Чого запис не стверджує. Що економія буде такою в будь-якому оцінюванні: інститут сам зазначає, що за ощадливішого початкового плану збережених прогонів буде менше. Що інструмент уже хтось ужив поза інститутом: на день запису такого не прочитано.