Повернутися до часової лінії

Бенчмарк · 11 квітня 2005 р.

Змагання з однаковими правилами для всіх

11 квітня 2005 року в Саутгемптоні оголосили результати першого змагання PASCAL Visual Object Classes. Чотири класи — мотоцикли, велосипеди, люди й автомобілі; дві задачі — сказати, чи є об'єкт на знімку, і вказати рамку навколо нього. Заявилося дванадцять колективів, шестеро доповіли на воркшопі.

Чому це важливо

Оцінювання в комп'ютерному зорі стало щорічним заходом із заздалегідь оголошеними правилами, а не розділом у чужій статті. Виявлення дістало однозначний критерій правильності, і саме цей критерій змагання наступного десятиліття успадкували без змін.

Правило, за яким виявлення визнають правильним: площа перетину передбаченої рамки з розміченою має перевищувати 50 % від їх об'єднання. Кілька виявлень того самого об'єкта нижчого рангу рахують як хибні спрацьовування, тож усі учасники мусили додати до методу спосіб їх розводити. Класифікацію рахували за ROC-кривою двома мірами одразу — рівнем рівних помилок і площею під кривою, — щоб не віддавати перевагу жодному режиму. Перший набір зображень: у навчальній і перевірочній частинах разом 684 знімки й 812 об'єктів, у першому тестовому наборі 689 знімків і 833 об'єкти, рахуючи за класами. Другий тестовий набір зібрано окремо через Google Images, щоб він не походив із того самого розподілу: 1072 знімки й 1713 об'єктів. Зображення передали Дармштадтський технічний університет, Іллінойський університет, Caltech, MIT, Технічний університет Граца та INRIA. Запис не стверджує «дев'яти команд» і не стверджує «1578 зображень і 2209 об'єктів». Звіт змагання називає дванадцять колективів, з яких шестеро доповідали; жодна з двох таблиць набору не дає названих там сум. Організаторами сторінка змагання називає Люка Ван Гола із Цюриха, Крістофера Вільямса з Единбурга й Ендрю Зіссермана з Оксфорда; Марк Еверінгем з Оксфорда веде змагання як технічний учасник і стоїть першим автором звіту.

Відомості про подію

Дата події
11 квітня 2005 р.
Дата на часовій лінії
Дата події
Перевірка
Джерела зібрано автоматично · 21 вересня 2026 р.
Лінії
ID
evt-0498

Піврічний воркшоп, на якому оголосили результати, відбувся в Саутгемптоні 11 квітня 2005 року; дату дають і сторінка змагання, і його звіт. Сам прогін ішов із лютого по березень: комплект розробника 21 лютого, тестовий набір 14 березня, кінцевий термін подання 31 березня, оголошення результатів 4 квітня.

Джерела

Пов’язані події

Записи, що посилаються на цей