Згладжування Кнезера — Нея

На ICASSP-95 у Детройті (9–12 травня 1995 року) Райнгард Кнезер із дослідницьких лабораторій Philips в Ахені й Германн Ней з Ахена запропонували для n-грамної мовної моделі розподіли відступу, оптимізовані саме для випадків, коли довшої послідовності в даних не було. Перплексія знизилася приблизно на 10 %, частка помилок слів у розпізнаванні мовлення — на 5 %.

Відступ (backing-off) — перехід до коротшої історії, коли довшого n-грама в навчальних даних немає. Кнезер і Ней двома шляхами вивели розподіли для цього переходу. У першому ймовірність слова на нижчому рівні — це кількість різних історій, після яких слово траплялося, поділена на суму таких кількостей для всіх слів: за словами статті, враховано лише те, що слово спостерігали в певному контексті, а частоту відкинуто. Приклад самої статті — слово dollars, дуже часте в корпусі Wall Street Journal, але майже завжди після чисел і назв кількох країн. Пізніший приклад Чена й Гудмана — Francisco, що трапляється лише після San. Виміри, прочитані в повному тексті (с. 183–184). Два корпуси: німецькі діалоги Verbmobil, близько 30 000 слів із закритим словником на 2 000 слів, і Wall Street Journal, близько 40 мільйонів слів із відкритим словником на 45 000 слів, що покриває 99,7 %, з перевіркою на офіційних матеріалах оцінювань 1992 і 1993 років; усі моделі триграмні. На Wall Street Journal перплексія знизилася зі 161,0 до 145,7 і 144,3 для двох нових розподілів, а частка помилок слів — з 11,9 % до 11,2 % і 11,1 %; на Verbmobil перплексія знизилася зі 105,4 до 97,9 і 96,2, а розпізнавання не перевіряли. Проти офіційної триграмної моделі ARPA 1993 року, на словнику з 20 000 слів, перплексія була 134,0 проти 147,0. «Приблизно 10 %» і «5 %» резюме узагальнюють ці числа; у тексті статті сказано «до 10 %». Чого запис не стверджує: що метод був найкращим серед подібних уже 1995 року — це пізніший висновок Чена й Гудмана.