Бенчмарк · 4–6 листопада 1992 р.

TREC: спільний набір для пошуку

4–6 листопада 1992 року в Ґейтерсберзі NIST і DARPA провели першу конференцію Text REtrieval Conference: 25 груп прогнали свої системи на спільній колекції близько двох гігабайтів тексту і спільних темах, а результати оцінено однією процедурою. Прийшло 92 учасники.

Чому це важливо

Уперше пошукові системи з університетів і компаній стало можливо порівняти на тих самих даних, тими самими мірками й на колекції, на порядки більшій за звичні кілька мегабайтів. Спосіб суджень пулом із верхніх документів кожного прогону зробив таку колекцію оцінюваною.

Документи розіслано двома CD-ROM приблизно по гігабайту: навчальний D1 і тестовий D2; теми й судження — поштою. Дві задачі — ad hoc (новий запит до архіву) і routing (постійний запит до потоку). Судження релевантності робили на пулі: для кожної теми брали 200 верхніх документів кожного прогону. Категорія B дозволяла брати 25 тем і чверть документів. TREC-1 використав ту саму колекцію, що й проєкт DARPA TIPSTER. Огляд Донни Гарман сам називає ці результати базовою лінією. Запис не стверджує числа документів у колекції: 740 тисяч у прочитаних текстах не трапляється.

Відомості про подію

Дата події

4 листопада 1992 р. – 6 листопада 1992 р.

Дата на часовій лінії

Дата події

Перевірка

Джерела зібрано автоматично · 24 вересня 2026 р.

Лінії

ID

evt-0693

Джерела

першоджерело The First Text REtrieval Conference (TREC-1), NIST Special Publication 500-207: preface
National Institute of Standards and Technology · Опубліковано 20 лютого 1993 р.
першоджерело Overview of the First Text REtrieval Conference (TREC-1)
National Institute of Standards and Technology · Опубліковано 1993

Пов’язані події

Пов’язано Документ як вектор термінів
Огляд TREC-1 пояснює конференцію тим, що оцінювання на малих колекціях на кшталт Cranfield (1400 документів) не показує, як системи поводяться на великих повних текстах; у передмові серед програмного комітету — Кріс Баклі з Корнелла.
Overview of the First Text REtrieval Conference (TREC-1)

Записи, що посилаються на цей

Спирається на BM25
Стаття описує, як система Okapi з City University змінювалася від TREC-1 до TREC-3, і дає перераховані результати прогону TREC-1.
Okapi at TREC-3
Спирається на Пошук у записаному мовленні: трек SDR
Трек пошуку в записаному мовленні був частиною TREC: ті самі запити й міри, але документи — автоматична розшифровка випусків новин.
The TREC Spoken Document Retrieval Track: A Success Story (John S. Garofolo, Cedric G. P. Auzanne, Ellen M. Voorhees), RIAO-2000 Content-Based Multimedia Information Access, Paris, 12-14 April 2000
Спирається на Відео-трек TREC: спільний тест пошуку у відео
Відео-трек з'явився всередині TREC 2001 і переніс його спосіб — спільні дані, запити й міри — з тексту на відео.
The TREC-2001 Video Track Report (Alan F. Smeaton, Paul Over, R. Taban), in NIST Special Publication 500-250, The Tenth Text REtrieval Conference (TREC 2001); report dated 18 April 2002
Пов’язано MUC-6: розпізнавання іменованих сутностей як окрема задача
Та сама модель, яку DARPA і NIST застосували до пошуку в TREC: учасники дістають спільні дані, прогін відбувається перед конференцією, а конференція обговорює результати.