Спільний тест NIST на рукописних символах
27–28 травня 1992 року NIST на замовлення Бюро перепису США зібрав у Гейтерсберзі учасників першої конференції систем оптичного розпізнавання для перепису: 26 організацій із Північної Америки та Європи розпізнавали ті самі близько 85 000 рукописних цифр і літер, яких раніше не бачили. Приблизно половина систем правильно розпізнала понад 95 відсотків цифр; людина — близько 98,5.
Чому це важливо
Понад сорок п'ять систем розпізнавання рукописного тексту — від нейромереж до правил — порівняли на одних і тих самих даних і одним підрахунком помилок. Навчальний диск конференції, NIST Special Database 3, згодом став половиною MNIST.
Учасники отримали навчальний диск із понад 300 000 зображень окремих символів і тестовий диск, результати повертали до 27 квітня; 26 організацій надіслали понад 115 варіантів від понад 45 систем, ще три — серед них HNC — даних не повернули. Найменша частка помилок на цифрах без відмов — 1,56 відсотка (система OCRSYS); чотири системи AT&T — від 3,16 до 4,84. Великі літери половина систем розпізнала з помилкою менше 10 відсотків, малі — менше 20. SD-3 зібрали серед працівників Бюро перепису, а MNIST змішав його з базою, написаною старшокласниками, бо SD-3 значно чистіший. Чого запис не стверджує. Звіт сам застерігає, що тест не контролювали і що його числа не можна брати за основу для купівлі; він перевіряв лише окремі вже вирізані символи, а не цілі бланки.