Пошук у записаному мовленні: трек SDR
У 1997–1999 роках NIST провів у TREC трек пошуку в записаному мовленні: системи розпізнавали випуски новин і шукали в розшифровці за запитами. Колекція виросла з 50 годин у 1997 році до 557 годин і 21 754 сюжетів у 1999-му. Підсумок NIST представив на RIAO 2000 у Парижі 12–14 квітня 2000 року.
Чому це важливо
Уперше виміряли, наскільки помилки розпізнавача шкодять пошукові в звуці: залежність виявилася майже лінійною й пологою, тож автоматична розшифровка з кожним п'ятим-четвертим словом хибним уже годилася для пошуку в сотнях годин ефіру. Спільнота розпізнавання мовлення й спільнота пошуку вперше працювали на одній колекції.
TREC-6 (1997): 50 годин, 1 451 сюжет у середньому по 276 слів, пошук відомого сюжету; базовий розпізнавач IBM помилявся в 50 % слів, у середньому по сюжету — у 40 %. Тестові корпуси розпізнавання до того були коротші за три години. TREC-7 (1998): 87 годин, 2 866 сюжетів, звичайний пошук релевантних. TREC-8 (1999): 557 годин новин ABC, CNN, Public Radio International і «Голосу Америки» за лютий — червень 1998 року; базові розпізнавачі NIST — 27,5 % і 26,7 % помилкових слів. Груп-учасників було 13, 11 і 10. У TREC-8 системи вперше шукали й без розмічених меж сюжетів. Стаття групи Кембриджського університету про TREC-8 рахує інакше: номінально 100 годин для TREC-7 і 500 годин для TREC-8 (502,4 години до сегментації), з тими самими 2 866 і 21 754 сюжетами; запис лишає 87 і 557 годин за NIST. Чого запис не стверджує: стаття не каже, що пошук у розпізнаному тексті дорівнює пошукові в людській розшифровці. Її застереження — питання-відповіді й усні запити, де одне хибне слово руйнує результат, ще не випробувано.