Звіти, які втратили право на числа

Двадцять першого вересня вийшло вісім запитів на прогалини в колекції, а відповіді почали приходити одна за одною — довгі звіти зовнішньої дослідницької моделі, кожен зі структурованим блоком кандидатів: дата, джерела, числа, впевненість, розбіжності, статус кожної адреси. Порядок роботи був один: кожен кандидат, кожна адреса й кожне число перевіряються наново, у тій версії документа, якою запис датовано. Тринадцять таких проходів за два дні. Цей запис — про те, що вони знайшли, і про рішення, до якого це привело.

Що закривали

Прогалини вимірювали по даних, а не вгадували. Зображення мали сорок порожніх років між 1963-м і AlexNet — тепер там шістнадцять записів, від Марра й Гілдрет до PTAM. Оцінювання мало двадцять років, у які самі тести й створювалися, і жодного з них: BLEU, SQuAD, GLUE, HELM — нуль згадок, MMLU — одна, мимохідь. Шар, про який насправді всі судові позови 2023–2026 років, — звідки взялися корпуси й хто їх розмічав: Mechanical Turk, Common Crawl, C4, The Pile, LAION, кенійські розмітники. Лінія шкоди починалася з рішення суду 2026 року про чат-бота; тепер вона починається з аудитів розпізнавання облич 2018 року й розслідування алгоритму ризику рецидиву. 2024 і 2025 роки були записані майже цілком як запуски продуктів; тепер у них є публікації, після яких щось стало відомо. А ще — хто друкує прискорювачі й що саме забороняють експортні правила, енергія й вода дата-центрів, китайські правила про алгоритми, суди й вибори, символьна лінія, яка обривалася в 1990-му, три десятиліття мовлення до Баума й Велша і гроші, що дійшли до документа регулятора.

Що не пережило перевірки

Найдешевший спосіб описати знайдене — перелічити класи вад, бо кожен повторювався в кількох звітах.

Число з пізнішої версії під датою першої. Звіт датує запис першою версією препринта — правильно — а описує роботу зі сторінки анотації на arXiv, яка показує останню. Кожне окреме число справжнє, і жодне не належить цій даті. Людський рівень MMLU в 89,8 % у першій версії відсутній, а в третій названий прямо «освіченою здогадкою»; SuperGLUE описано з вісьмома задачами, коли таблиця першої версії має шість.

Посилання на іншу роботу. Назва правильна, адреса відкривається, статус 200, дата на сторінці збігається — а сама сторінка про щось інше. Обидва джерела для корпусу ROOTS вели на статтю про BLOOM і на DataComp-LM 2024 року. «Compute Trends Across Three Eras» виявився статтею про відкриття потужних моделей. Під AfriBERTa лежав MasakhaNER, і його дату звіт переніс в AfriBERTa. Не раз відповідь була просто в назві файлу: «Wikidata» лежала у freebase_to_wikidata.pdf, річний звіт Intel закінчувався на def14a.htm, тобто був довіреністю акціонерам.

Твердження, якого в джерелі немає взагалі. «Ефективність вибірки корелює з ентропією» — у статті, де слово «ентропія» трапляється нуль разів. Вартість проєкту в 1,6 мільярда доларів, якої немає в пресрелізі, куди вона нібито веде; 25 000 дзвінків там, де регулятор каже 9 581. І його тихіший родич — твердження, перевернуте навспак: у Снелла послідовне доопрацювання пасує легшим задачам, а паралельний пошук — важчим, а звіт мав навпаки. Числа правильні, перевернуто відношення, і жоден пошук числа до нього не дістанеться.

Норма, прочитана через переказ. Експортне правило жовтня 2022 року кон’юнктивне: 600 Гбайт/с зв’язку І добуток 4800. У звіті було «АБО» — і саме це «І» пояснює наступний запис, бо A800 від NVIDIA зберігає обчислення й знижує зв’язок. Дві статті китайських правил про глибинний синтез звіт переставив місцями разом з обома обов’язками. У норми кілька дат набрання чинності, а не одна, і норма не називає продуктів — список чипів, який усі цитують, належить звітності самої компанії.

Робота, якій приписали поняття, якого в ній немає. DeepSeekMath подано як статтю, що запровадила навчання з підкріпленням на перевірних винагородах; слова «перевірний» у ній немає, а її фаза навчання тренує модель винагороди. Це найдорожча вада, бо стосується не числа, а того, для чого запис існує.

Одна ціна в пресрелізі й інша в річному звіті того самого покупця. Intel оголосила Habana Labs за приблизно 2 мільярди й облікувала за 1,7; Mobileye — за 15,3 й облікувала 14,5; Microsoft оголосила Nuance за 19,7 й облікувала 18,8. Обидва документи первинні, обидва — компанії, і та цифра, що розійшлася світом, — не та, що пройшла аудит. Ціни DeepMind немає в жодному документі взагалі, і повнотекстовий пошук по EDGAR — це саме те, чим таке встановлюється.

І вигадані діячі. Статтю про потік ознак звіт приписав «Feature Flow Research», якої немає ніде в статті. Насправді її автори з T-Tech, технологічного підрозділу колишнього Тінькофф, і Московського фізико-технічного інституту, з листуванням на tbank.ru. Запис не ввійшов за правилом проєкту про російські організації. Це правило довелося застосувати не до назви в звіті, а до того, що назва ховала.

Кожен такий клас потрапив у пам’ятку для наступної сесії того ж дня, коли його знайшли, разом із маршрутами до первинних текстів: повний текст Federal Register віддається за іншою адресою, ніж сторінка документа; сам CourtListener відповідає 403, а його сховище й пошуковий API — ні, тож сім позовів прочитано цілком, а дату кожного підтверджено двічі; www.sec.gov не пускає командний рядок, а data.sec.gov і efts.sec.gov пускають. І правило, яке з’явилося не з перевірки, а з утрати: вердикт кандидата пишеться в пакет тієї миті, коли складається. Прохід 21 вересня тримав у контексті понад 400 тисяч токенів і був обірваний п’ятигодинним лімітом посеред інтеграції; стиснення контексту губить те саме, тільки тихіше, згортаючи «статус 200, дату звірено зі сторінкою» в «перевірено».

Зірочки, які дійшли до читача

Одна вада була не у звіті, а в нас. Тексти записів рендеряться як звичайний текст, тож markdown-виділення доходить до читача зірочками. В одному записі зірочки несли обмеження, а не наголос: 27,33 % — найкращий результат серед відкритих підходів, а не взагалі. Обмеження тепер стоїть словом, а перевірка відмовляє парі зірочок у будь-якому збереженому тексті, у будь-якому полі, і ламає не лише валідацію даних, а й саму збірку.

Бюджети, які росли швидше за прогноз

Дві сторінки ростуть разом із колекцією: перелік записів і перелік джерел. Нахил спершу оцінили в 130 байтів на запис, а потім виміряли по двох точках — і він виявився вдвічі більшим, бо кожен прохід писав у нотатку джерела весь вердикт перевірки, а в деталі запису — те, чого запис не стверджує. Межу піднімали лише під прохід, який справді її ламав, — першою його дією і з арифметикою в коментарі, а не в кінці, щоб якось вмістилося. Нотатку ніхто не скорочував: це єдине місце, де перевірка переживає прохід.

Три внутрішні проходи й паралельні гілки

Двадцять другого ввечері пішли три проходи без зовнішніх звітів. Друге незалежне джерело під сорока п’ятьма числами 2020-х років: одинадцять підтвердилися, сім розійшлися й тепер несуть обидва числа, решта лишилися з одним джерелом, бо незалежного вимірювання не існує або джерело — саме судовий документ. Первинне джерело замість Вікіпедії під десятьма записами, які трималися лише на ній; шість чисел у них не знайшлися в новому джерелі й були виправлені. І двадцять п’ять зв’язків для двадцяти шести ізольованих записів, кожен на джерелі, що сам називає зв’язок.

Проходи йшли паралельно, і кожен нумерував нові джерела з того самого місця. Злиття довелося робити перенумеруванням — по одній гілці, у порядку їхнього завершення, — і зливати дані по полях, а не цілими файлами.

Контрольний прохід і нова схема

Пізно ввечері двадцять другого вийшов новий запит із дванадцяти пунктів, виміряних на 641 записі, а вночі його перший пункт — робототехніку 1960–1999 років — зробили без звіту взагалі. Перед тим, як відкрити бодай одне джерело, сесія записала свої гіпотези щодо дат і чисел, а після читання — вердикт. Шістнадцять записів за тридцять одну хвилину: з чотирнадцяти дат дев’ять збіглися повністю, чотири лише роком, одна на рік хибна; з тридцяти семи чисел двадцять дев’ять знайшлися, три не знайшлися й не ввійшли, п’ять були хибні. Власна пам’ять помиляється так само, як звіт, — але ці помилки впіймано до того, як вони стали текстом.

Підсумок тринадцяти звітних проходів: прийнято 155 кандидатів із 163, і приблизно 165 тверджень у них вирізано або переписано — близько одного на запис, — а кожна п’ята дата зсунулася. Кандидатів звіти давали добрих. Усе інше доводилося перевіряти заново, і довіряти не можна було навіть полям, які мали б допомогти: confidence — «high» у всіх шістнадцяти кандидатів першого звіту, disagreements — порожнє там, де сам звіт у прозі описує дві суперечки про дату.

Звідси схема, яку «6 в 1» затверджує тієї ж ночі: пункти 1–10 сесії виконують самі, а для 11 і 12 звіт несе лише назви — ідентифікатор, відкрити, звірити назву — а далі так само, як без звіту. Дат, чисел, впевненості, розбіжностей і статусів звіт більше не несе.

Перший запис, прийнятий людиною

І останнє за ці три дні. Досі кожен запис в атласі перевіряла машина, і значок на картці це чесно казав. Запис про вокодер Дадлі, жовтень 1939 року, — перший, що пройшов людське приймання: з нього прибрано непідтверджене «перший», названо Bell Telephone Laboratories, а українська й англійська версії звірені між собою. Одразу знайшлася й вада: форма редактора не знала поля, яке це приймання фіксує, і наступне збереження тихо стерло б його. Тепер форма його несе, а тест зберігає запис двічі без змін і перевіряє, що людське приймання лишилося на місці.

Приймання на цьому не скінчилося. Уже після нього від «6 в 1» прийшли дві сторінки, яких не знайшов жоден машинний прохід — ні наш, ні прохід Gemini, якою звіряли текст: повна стаття Дадлі в PNAS, відкрита в PubMed Central, і реферат жовтневої статті в Bell System Technical Journal. Жовтнева стаття стоїть за платною стіною в 40 доларів, і запис чесно казав, що десяти каналів і фільтрів на 25 герц у доступному резюме немає. Але це була та сама робота, надрукована раніше й відкрито. Доповідь прочитано в Академії 24 квітня 1939 року, і в ній є все: десять смуг від 0 до 2950 герц, фільтр на 25 герц у кожному каналі, окремий канал висоти тону, одинадцять повільних сигналів і відставання в 17 мілісекунд. Відсотка розбірливості й слова «вокодер» немає й там, тож ці числа звіту лишилися поза записом.

Запис переписано з повного тексту й датовано днем доповіді. Людське приймання з нього зняли, доки новий текст не прочитано, і поставили знову, коли прочитали. Виноска тієї самої статті згадує показ ранньої стадії апарата 11 вересня 1936 року; це тепер окреме питання, і якщо джерело підтвердиться, найраніший запис атласу знову переїде.

Урок простий і трохи незручний: платна стіна на одній статті ще не означає, що закрита вся робота. Автори тих років друкували той самий апарат у кількох місцях, а архіви PNAS і BSTJ відкриті.