NIST міряє демографічні розриви на 189 алгоритмах
19 грудня 2019 року Національний інститут стандартів і технологій США оприлюднив звіт NISTIR 8280 Патріка Гротера, Мей Нган і Кейї Ханаоки. Через 189 здебільшого комерційних алгоритмів від 99 розробників пропустили 18,27 мільйона зображень 8,49 мільйона людей із чотирьох урядових баз. Частка хибнопозитивних збігів між демографічними групами часто різниться у 10 і більше ніж у 100 разів, тоді як хибнонегативні різняться зазвичай менш ніж утричі.
Чому це важливо
Це той самий вимір, що й у зовнішніх аудитах, зроблений установою, яка задає стандарти й чиї тести постачальники проходять добровільно. Після нього твердження про демографічний розрив перестало належати критикам галузі: його можна було цитувати з урядового звіту, і саме в такому вигляді воно ввійшло в наступні заборони й слухання.
Хибнопозитивні: на портретах вищої якості частка найвища в людей із Західної та Східної Африки й Східної Азії й найнижча у східноєвропейців, із розривом до ста разів між країнами. На знімках правоохоронних органів США найвища — в американських індіанців, із підвищеними значеннями в афроамериканців і вихідців з Азії. Частка вища в жінок, ніж у чоловіків, послідовно на всіх алгоритмах і наборах, але цей ефект менший за расовий; підвищена вона також у літніх і в дітей. Хибнонегативні: на поліцейських знімках вищі в азійців і американських індіанців, на гірших знімках прикордонного контролю — у народжених в Африці та Карибському басейні, і звіт пояснює цю розбіжність якістю зображень, а не самими групами. Одна знахідка зі звіту заперечує найпростіше пояснення: у частини алгоритмів, розроблених у Китаї, ефект обернений — на східноазійських обличчях у них низька частка хибнопозитивних. Розрив, отже, стежить за навчальною сукупністю, а не є властивістю облич. Запис не стверджує, що міряли класифікацію статі: тут ідеться про звіряння один-до-одного й пошук один-до-багатьох, тобто про впізнавання особи.