Змагання з однаковими правилами для всіх
11 квітня 2005 року в Саутгемптоні оголосили результати першого змагання PASCAL Visual Object Classes. Чотири класи — мотоцикли, велосипеди, люди й автомобілі; дві задачі — сказати, чи є об'єкт на знімку, і вказати рамку навколо нього. Заявилося дванадцять колективів, шестеро доповіли на воркшопі.
Чому це важливо
Оцінювання в комп'ютерному зорі стало щорічним заходом із заздалегідь оголошеними правилами, а не розділом у чужій статті. Виявлення дістало однозначний критерій правильності, і саме цей критерій змагання наступного десятиліття успадкували без змін.
Правило, за яким виявлення визнають правильним: площа перетину передбаченої рамки з розміченою має перевищувати 50 % від їх об'єднання. Кілька виявлень того самого об'єкта нижчого рангу рахують як хибні спрацьовування, тож усі учасники мусили додати до методу спосіб їх розводити. Класифікацію рахували за ROC-кривою двома мірами одразу — рівнем рівних помилок і площею під кривою, — щоб не віддавати перевагу жодному режиму. Перший набір зображень: у навчальній і перевірочній частинах разом 684 знімки й 812 об'єктів, у першому тестовому наборі 689 знімків і 833 об'єкти, рахуючи за класами. Другий тестовий набір зібрано окремо через Google Images, щоб він не походив із того самого розподілу: 1072 знімки й 1713 об'єктів. Зображення передали Дармштадтський технічний університет, Іллінойський університет, Caltech, MIT, Технічний університет Граца та INRIA. Запис не стверджує «дев'яти команд» і не стверджує «1578 зображень і 2209 об'єктів». Звіт змагання називає дванадцять колективів, з яких шестеро доповідали; жодна з двох таблиць набору не дає названих там сум. Організаторами сторінка змагання називає Люка Ван Гола із Цюриха, Крістофера Вільямса з Единбурга й Ендрю Зіссермана з Оксфорда; Марк Еверінгем з Оксфорда веде змагання як технічний учасник і стоїть першим автором звіту.