Відповідь розробника: однакова точність для обох груп
8 липня 2016 року дослідницький відділ Northpointe відповів на аудит ProPublica власним аналізом тих самих даних. Звіт Вільяма Дітеріха, Крістіни Мендоси й Тіма Бреннана показав, що площа під ROC-кривою шкали загального рецидиву в головній вибірці видання дорівнює 0,69 для чорношкірих і 0,69 для білих підсудних, а частка позначених вищим ризиком, які не вчинили нового злочину, була не вищою, а нижчою для чорношкірих: 37 % проти 41 %.
Чому це важливо
Це рідкісний випадок, коли обидві сторони суперечки про алгоритмічну шкоду виклали числа на тому самому наборі даних. Після цієї відповіді питання перестало бути «хто порахував правильно» і стало «яке з двох визначень справедливості має виконуватися», бо обидва боки рахували правильно різні величини.
Точні значення зі звіту: AUC шкали загального рецидиву в головній вибірці ProPublica — 0,69 (0,68–0,71) для чорношкірих і 0,69 (0,67–0,71) для білих, 0,70 (0,69–0,71) в усій вибірці; для шкали насильницького рецидиву — 0,67 для чорношкірих і 0,66 для білих, 0,68 в усій вибірці. Дворічна базова частота рецидиву в тій самій вибірці — 0,51 у чорношкірих проти 0,39 у білих, для насильницького — 0,14 проти 0,09. Середня кількість попередніх арештів — 4,4 проти 2,6, середній вік на момент оцінювання — 32,7 проти 37,7 року. Головне заперечення: видання порівняло доповнення чутливості та специфічності, тобто величини, обчислені окремо на рецидивістах і нерецидивістах, тоді як для твердження про упередженість потрібні доповнення прогностичних цінностей, які враховують базову частоту. Запис не стверджує, що відповідь спростувала аудит. Свій висновок про те, що розрив у частках помилок є природним наслідком різних розподілів балів, Northpointe отримала з власного моделювання, а не з доведення; звіт так це й називає. Доведення з'явилося окремо й не в цієї компанії. Копія на сайті видавця тепер відповідає 404, тож запис цитує архівну копію того самого файлу.