Алгоритм лікарень недооцінює хворобу чорношкірих
25 жовтня 2019 року Science опублікував аналіз поширеного комерційного алгоритму, що відбирає пацієнтів для додаткової допомоги: за однакового балу чорношкірі пацієнти значно хворіші за білих, а усунення цього підняло б їхню частку серед відібраних з 17,7 % до 46,5 %.
Чому це важливо
Упередження знайшли не в даних про расу, а в тому, що модель прогнозує: витрати на лікування замість хвороби. Оскільки на лікування чорношкірих пацієнтів витрачають менше, точна за витратами модель виявилася упередженою за хворобою.
За словами авторів, алгоритм типовий для галузі й стосується мільйонів пацієнтів. Висновок статті ширший за медицину: зручна мітка-замінник замість справжньої мети може бути джерелом упередження в багатьох задачах. Назви алгоритму й виробника не дає ні резюме, ні повний текст (прочитано в копії Каліфорнійського університету), і запис їх не стверджує. Причину упередження автори бачать у тому, що алгоритм передбачає витрати на лікування, а не хворобу; виробник, за їхніми словами, незалежно повторив аналіз на власних даних про 3 695 943 пацієнтів із комерційною страховкою й підтвердив результат.