Числа з чужої версії

Два брифи

Перший бриф, від 23 вересня, мав дванадцять запитів і закривав прогалини, які показала сама вісь: методи 1991–2022 років, на яких стоять 2020-ті, Київ і Україну, центри в Європі, Азії й Африці, машинний переклад і пошук, рекомендації й рекламу, безпеку й узгодження, право до 2021 року, медицину, зір до 1980-го й генеративну гілку, мультимодальність і звук, ігри після AlphaZero й бенчмарки для коду. Перший із запитів, роботехніку 1960–1999 років, зроблено ще 23-го; решта одинадцять пройшли за ці дні, і це 136 записів. Другий бриф, від 25 вересня, пішов глибше в два місця: 1980–2000 роки та зображення й мультимодальність до 2010-го. Там ефект Мак-Ґурка, Put-That-There, перше цифрове зображення, GrabCut і seam carving, QBIC, розпізнавання облич на Супербоулі в Тампі, Shazam, Blizzard Challenge, PROSPECTOR, Alvey й ESPRIT, латентний семантичний аналіз, теґер Брілла, згладжування Кнезера–Нея. Ще 55 записів.

Запити обох брифів, крім двох, зроблено без зовнішнього звіту. Сесія записує гіпотези (дати, числа, зв’язки) у контрольний журнал пакета до того, як відкрити перше джерело, а вердикти — після. Два запити, про Україну та про Європу, Азію й Африку, пройшли через звіт Gemini, з якого брали лише назви. Промпти, надіслані туди, лежать поруч із брифом, щоб звіт можна було читати проти того, про що насправді питали. З семи адрес українського звіту дві вели до роботи з тим змістом, який звіт їй приписував.

Для України «6 в 1» зробив один виняток із заборони російських джерел. Для відомостей про Україну до 1991 року, коли іншої копії нема, такі джерела можна брати з позначкою !!!ru. Жодне джерело того пакета його не потребувало.

Найчастіша помилка — моя

Гіпотези писав я сам, і найстійкіша вада в них — та сама, яку журнал уже ловив у чужих звітах: числа з пізніших версій препринту. У методах 2020-х чотири з п’яти хибних чисел походили з пізніших версій, а не з тієї, якою датовано запис: LoRA, RoPE, RAG. Alignment faking — 14 % у другій версії, 12 % у першій. У VQA чверть мільйона зображень і десять відповідей на питання є лише в пізніших версіях, перша має 123 285 зображень і три відповіді. R-CNN, YOLO, COCO — те саме. Правило з цього одне: число належить версії, датованій так само, як запис, і читається в ній, а не пригадується.

Решта хибних гіпотез — того самого класу, впевненість без документа. У Фентона 222 135 — це жінки, а не обстеження. У SWE-bench 1,96 % — це Claude 2 з BM25, а заголовкові 4,8 % потребують оракульного пошуку. OpenAI Five має 7 215 перемог, не ігор, і 3 140 із них — покинуті суперниками партії. План DARPA Strategic Computing жодного разу не називає Японію, хоча британський уряд справді назвав Alvey відповіддю на японську ініціативу.

Помилявся й сам бриф. METEO працював експериментально з 9 грудня 1975 року, а не з 1981-го. Аудит, на який посилався запит про Watson for Oncology, стосується іншої системи MD Anderson, і слова «Watson for Oncology» трапляються в ньому нуль разів. Запис іде за документом.

Картка недосяжного

Кожен прохід тепер закінчується однією карткою: чого не дістав, за якою адресою, яке твердження шукав і що зміниться, якщо знайдеться. «6 в 1» проходить її в окремому чаті, часто з підсумком пошуку Gemini. Такий підсумок читається як покажчик, а не як джерело: він здебільшого знаходить правильний документ і помиляється в тому, що в ньому написано.

Так дисертація Старнера 1995 року, яку «6 в 1» завантажив власноруч, показала, що система таки працювала з кольоровими рукавичками, і посунула запис на лютий 1995-го. Детектор облич Роулі переїхав із журнальної статті січня 1998 року на звіт листопада 1995-го, де вже були ті самі 130 зображень. LabelMe переїхав з 2007 року на службову записку MIT вересня 2005-го. Переможця Blizzard 2005 назвали статті самих учасників, і вони спростували підсумок у тому, яка система була якою. Тампа отримала перший газетний звіт, St. Petersburg Times від 31 січня 2001 року, і в ньому не виявилося жодного з чисел підсумку.

Ціна з пізнішого місяця

Помилку помітили, коли збирали ролик про 1997 рік: за атласом, Dragon NaturallySpeaking коштувала близько двохсот доларів. Власне джерело запису, Technology Review 1998 року, каже $700 на старті, а $199 — це ціна, до якої Dragon спустилася після того, як у серпні вийшов IBM ViaVoice за $99. Вада та сама, що з препринтами: число правдиве, але належить пізнішому моменту, ніж запис.

Запис переписано з прес-релізу Dragon від 2 квітня 1997 року, знайденого в копії Wayback за травень того ж року. Анонс у квітні, продаж із червня за $695, а понад сто слів на хвилину подано як обіцянку компанії, а не як вимір. Дев’ять тисяч доларів за DragonDictate, з якими порівнював старий текст, не дає жодне джерело, тож порівняння зникло. Джерело для цієї суми того ж вечора знайшов «6 в 1»: Reuters у New York Times від 20 березня 1990 року, де $9 000 — це програма разом із платою розпізнавання мовлення. Воно стало під запис самого DragonDictate, а текст про NaturallySpeaking лишився таким, яким його прочитали. «6 в 1» прочитав переписаний запис обома мовами й прийняв його — це третій запис, підтверджений людиною.

Межі байтів

Кожен запис додає до /uk/records/ від 200 до 390 байтів gzip, залежно від того, скільки в ньому сказано про те, чого не знайдено. За ці дні межі цієї сторінки, осі, даних осі, людей, організацій і ліній піднімали не раз. Щоразу — першою дією проходу, до першого запису, з арифметикою поруч, і кілька разів виявлялося, що підйом прийшов на прохід раніше, ніж був потрібен. Зараз найтісніша сама /uk/records/: 2 671 байт до межі, і наступний прохід почне з неї.

Того ж 24 вересня «6 в 1» удруге прийняв запис як людина: передбачувач Вінера, переписаний з його власного підсумкового звіту.