Відео-трек TREC: спільний тест пошуку у відео
На TREC 2001 у Гейтерсбурзі (13–16 листопада 2001 року) NIST уперше провів відео-трек: 12 груп зі США, Азії та Європи шукали в 11 годинах відео MPEG-1 за 74 запитами, кожен із кліпом, зображенням чи звуком поряд із текстом, і визначали межі кадрів. З 2003 року трек став окремою щорічною оцінкою TRECVID.
Чому це важливо
Пошук у відео дістав те, що текстовий пошук мав від 1992 року: спільну колекцію, однакові запити й однакові міри, тож системи з різних лабораторій уперше можна було порівняти. Запит тут сам був мультимодальним, а розшифровка мовлення — лише одним із допущених джерел, яке не мало заступати аналіз зображення.
Відео — з проєкту Open Video Університету Північної Кароліни, цифрової відеобібліотеки NIST і стокових кадрів BBC. Для задачі меж кадрів узяли 42 відео, близько 5,8 години й 3,34 ГБ; розмітку переходів — різких, наплинів, затемнень — зробив студент NIST. Транскрипти автоматичного розпізнавання мовлення дозволялися за умови, що група подасть і прогін без них. Звіт Смітона (Дублінський міський університет), Овера й Табана (NIST) датовано 18 квітня 2002 року; сам він називає перший рік треку «дещо неортодоксальним» за мірками зрілих треків TREC. Чого запис не стверджує: звіт не містить результатів — вони в таблицях матеріалів конференції, які не відкривалися. Огляд TREC 2001 не прочитано: його PDF не має придатного текстового шару.