Три умови справедливості, які не сходяться
19 вересня 2016 року Джон Клейнберг, Сендгіл Муллайнатан і Маніш Рагаван подали статтю, яка формалізувала три умови справедливості для шкал ризику й довела, що жодне призначення балів не задовольняє всі три одночасно — крім двох вироджених випадків: коли прогноз ідеальний або коли базові частоти в групах однакові. Стаття прямо називає суперечку навколо COMPAS як привід.
Чому це важливо
Досі кожна сторона суперечки про упередженість алгоритму могла вважати, що інша припустилася помилки. Після цієї теореми стало відомо, що помилки немає з жодного боку: несумісність закладена в самих означеннях і не залежить від того, як обчислено бал. Вибір критерію справедливості перестав бути інженерним питанням і став тим, що треба назвати вголос.
Три умови в тексті статті: (A) калібрування всередині груп; (B) баланс для негативного класу; (C) баланс для позитивного класу. Теорема 1.1: якщо призначення ризику задовольняє (A), (B) і (C), то задача або допускає ідеальний прогноз (усі ймовірності 0 або 1), або має однакові базові частоти. Стаття доводить і наближену версію: те, що задовольняє умови з точністю до ε, мусить бути наближено схожим на один із цих двох випадків. Запис не стверджує, що (B) і (C) — це рівність часток хибнопозитивних і хибнонегативних. Стаття сама зазначає, що ці умови «відмінні» від них: вони порівнюють середній бал, призначений членам класу, а не частку помилок, і є їх узагальненням. Читано саме ту версію, на яку датовано запис: v1 від 19 вересня 2016 року, двадцять дві сторінки. Друга версія вийшла 17 листопада того ж року. Афіліації на першій сторінці — Корнельський університет, Гарвардський університет, Корнельський університет.