«A Plan for Spam»
У серпні 2002 року Пол Ґрем опублікував есей «A Plan for Spam»: фільтр, що поєднує за Баєсом ймовірності спаму п'ятнадцяти найпоказовіших слів листа, на його пошті пропускав менше 5 спам-листів на 1000 без жодного хибного спрацювання.
Чому це важливо
Есей виклав статистичну фільтрацію як відкритий рецепт — два корпуси, лічильники слів і одна формула — і протиставив її звичному підходу, коли програміст пише правила, що впізнають окремі ознаки спаму.
Корпуси — приблизно по 4000 листів спаму і не-спаму, токени беруться з усього тексту разом із заголовками й HTML. Словам, що трапляються лише в одному корпусі, автор дає ймовірності 0,01 і 0,99; лист вважається спамом при ймовірності понад 0,9. Числа — облік автора на власній пошті, не незалежний вимір. Сторінка несе пізнішу примітку про поліпшений алгоритм у есеї «Better Bayesian Filtering»; запис стосується лише алгоритму серпня 2002 року. Запис не стверджує, де й коли такі фільтри запрацювали масово: жодного джерела про це не прочитано.