Resource Management: спільний тест розпізнавання мовлення
З березня 1987 року NIST на замовлення DARPA проводив тести систем розпізнавання мовлення на спільній базі Resource Management: прочитані речення до морської задачі керування ресурсами, словник близько тисячі слів, понад 21 000 записів від 160 дикторів. Базу описано на ICASSP-88 у квітні 1988 року; до лютого 1989-го відбулося чотири тести.
Чому це важливо
Лабораторії, що фінансувала DARPA, стали розпізнавати ті самі речення тих самих дикторів і рахувати помилки однією програмою. Відтоді на питання, чия система краща, відповідало число на спільному тесті, а не демонстрація.
Автори бази — з BBN, Texas Instruments, SRI International і Національного бюро стандартів, згодом NIST. База розділена на навчальну й тестову частини і придатна для систем, залежних від диктора, незалежних і тих, що до нього пристосовуються. NIST написав єдину процедуру підрахунку й програму до неї; тести відбулися в березні й жовтні 1987, червні 1988 і лютому 1989 року; спершу в них брали участь BBN, Карнегі-Меллон, Лабораторія Лінкольна MIT і SRI. Sphinx з Карнегі-Меллон на офіційних реченнях 1987 року (150 речень від 15 дикторів) розпізнав 96 відсотків слів із граматикою пар слів (перплексія 60) і 82 без граматики (перплексія 991); на тестах 1988 і 1989 років без граматики — 78,1 і 76,4 відсотка. Чого запис не стверджує. Повних текстів статей ICASSP не прочитано, тож запис не наводить результатів інших систем і не каже, хто переміг котрийсь тест.