Точність розпізнавання обличчя за статтю, расою й віком
У грудневому випуску IEEE Transactions on Information Forensics and Security за 2012 рік Брендан Клер із колегами виміряв шість систем розпізнавання обличчя на 102 942 поліцейських знімках, поділених на вісім демографічних когорт. Найточніша з трьох комерційних систем упізнавала 88,7 % чорношкірих проти 94,4 % білих, 89,5 % жінок проти 94,4 % чоловіків і 91,7 % осіб 18–30 років проти 94,6 % осіб 30–50 років.
Чому це важливо
Розрив тут уперше поданий як таблиця чисел по когортах, а не як спостереження: однакова метрика, одна галерея, шість систем. Це дало наступним аудитам форму, у якій твердження про упередженість можна перевірити — і саме в цій формі аудит комерційних систем повернувся через шість років.
Метрика — частка правильних прийняттів при фіксованій частці хибних прийняттів 0,1 %. Системи: три комерційні (Cognitec FaceVACS 8.2, PittPatt 5.2.2, Neurotechnology MegaMatcher 3.1, знеособлені в результатах як COTS-A, B і C), дві ненавчальні (локальні бінарні шаблони й Габор) та одна навчальна (4SF). Галерея — знімки з бази шерифа округу Пінеллас, дві світлини на особу, навчальні й тестові набори не перетинаються. Когорти: стать, раса (чорні, білі, латиноамериканці) і вік (18–30, 30–50, 50–70). Другий результат: навчання виключно на потрібній когорті підвищує точність на ній — приблизно на 2 % для чорношкірих і на 1,5 % для білих порівняно зі збалансованим навчанням. Для жінок це не спрацювало: 4SF, навчений лише на жінках, дав на жінках 72,8 % проти 73,4 % у збалансованого, і стаття робить звідси висновок, що жіноча когорта складніша сама собою. Запис не стверджує, що це перше таке вимірювання. Стаття прямо посилається на попередні роботи про розрив між білими й східноазійськими обличчями й на попереднє спостереження, що жінок і молодших упізнавати важче; власною новиною вона називає питання, чи можна навчити алгоритм використовувати демографічну когорту. Азійської когорти в базі не вистачило, тож її не міряли. Читано прийнятий рукопис, а не журнальну версію: він має шість сторінок і напис «To appear», тоді як у журналі стаття займає сторінки 1789–1801. Числа взято з рукопису, дата — з реєстраційного запису DOI. Афіліації за виноскою на першій сторінці: Клер — Noblis, Бердж і Клонц — The MITRE Corporation, Вордер Брюгге — науково-технічний відділ ФБР, Джейн — факультет комп’ютерних наук Університету штату Мічиган і Корейський університет. Вхідний звіт приписував роботу Університету Мічигану — це інший заклад.