Сліпе оцінювання розпізнавання облич
У вересні 1996 року відбулося третє й останнє оцінювання FERET. Протокол вимагав зіставити набір із 3323 зображень із набором із 3816 — близько 12.6 мільйона порівнянь — на базі з 14 126 знімків 1199 осіб, зібраній незалежно від розробників алгоритмів. Результати рахували окремо для знімків того самого дня, різних днів і з розривом понад рік.
Чому це важливо
Розпізнавання облич дістало число, яке повідомляв не автор методу. Доти кожна група міряла себе на власній вибірці за власними правилами, і порівняти два методи було нічим; після FERET випробування на закритому наборі стало умовою, і цей устрій потім повторили всі великі змагання з комп'ютерного зору.
Базу зібрано за 15 сесій між серпнем 1993 і липнем 1996 року: 1564 набори знімків, разом 14 126 зображень 1199 осіб, серед них 365 повторних наборів — тобто других зйомок тієї самої людини, зазвичай в інший день. Для частини людей між першою й останньою зйомкою минуло понад два роки, і саме це дозволило вперше вивчати, як змінюється вигляд людини за рік. Попередні раунди: серпень 1994 року, галерея з 316 осіб; березень 1995 року, галерея з 817. Оцінювання 1996 року проводили у двох версіях — для напівавтоматичних алгоритмів, яким давали координати центрів очей, і для повністю автоматичних, яким давали лише зображення. Що було до того, NIST описує прямо: багато робіт повідомляли видатні результати, зазвичай понад 95 % правильних відповідей, на базах зазвичай менш ніж із 50 осіб. Загальне фінансування програми перевищило 6.5 мільйона доларів. Запис не наводить конкретного падіння точності на знімках із розривом у рік. Стаття з методологією та підсумками вийшла в IEEE TPAMI у жовтні 2000 року, але прочитати її повний текст не вдалося, тож числа тут — лише ті, які називає власна сторінка NIST.