Розподіл помилок шкали ризику за расою
23 травня 2016 року ProPublica опублікувала аудит COMPAS — шкали ризику рецидиву, яку суди США використовували в рішеннях про заставу й умовне звільнення. Видання взяло бали понад 7000 осіб, заарештованих в окрузі Бровард у Флориді 2013 і 2014 років, і звірило їх із новими обвинуваченнями за наступні два роки. Частка тих, кого позначено вищим ризиком і хто не вчинив нового злочину, склала 44,9 % серед чорношкірих підсудних проти 23,5 % серед білих.
Чому це важливо
Досі суперечка про алгоритми в судочинстві точилася про наміри й прозорість. Тут на місці загального твердження стало число, яке можна перерахувати: видання оприлюднило дані, і подальша суперечка велася на тому самому наборі. Атлас не має жодного іншого запису, у якому працююча система ухвалення рішень про людей була б виміряна ззовні, а не описана її ж розробником.
Числа з таблиці «Prediction Fails Differently for Black Defendants»: позначено вищим ризиком, але не вчинив повторного злочину — 23,5 % білих проти 44,9 % чорношкірих; позначено нижчим ризиком, але вчинив — 47,7 % білих проти 28,0 % чорношкірих. Загальна точність прогнозу рецидиву — 61 %. Статистичний тест, що відокремлює расу від кримінальної історії, самого рецидиву, віку й статі, дав для чорношкірих підсудних на 77 % вищу ймовірність вищого балу за шкалою насильницького рецидиву і на 45 % — за шкалою будь-якого. Запис не стверджує, що ці числа доводять упередженість шкали. Розробник відповів 8 липня 2016 року, що видання порівняло не ті величини: у таблиці стоїть частка нерецидивістів із позитивним результатом, тобто доповнення специфічності, а підпис описує її як частку позначених вищим ризиком, які не вчинили злочину, тобто доповнення прогностичної цінності. Обидві сторони рахували правильно різні речі; чому обидві не могли мати рації одночасно, показала стаття, що вийшла через чотири місяці. Видання — не наукова установа, і робота не проходила рецензування. Вона опублікувала методику й самі дані, і саме тому її змогли перерахувати.