Вага терміна за рідкістю в колекції
У січні 1972 року Карен Спарк-Джонс із Кембриджу запропонувала зважувати терміни запиту за тим, у скількох документах колекції вони трапляються: збіг на рідкому терміні важить більше, ніж на частому. На трьох тестових колекціях — Cranfield, INSPEC і Keen — таке зважування дало суттєвий приріст над простим підрахунком збігів.
Чому це важливо
Специфічність терміна стало можливо міряти статистично, за вжитком, а не за змістом слова, і підставити в пошук без жодного словника чи тезауруса. Ця вага, яку згодом назвали оберненою документною частотою, стоїть у векторній моделі Салтона й у BM25.
Вага терміна, що трапляється в n документах із N, — f(N) − f(n) + 1, де f(n) = m таке, що 2^(m−1) < n ≤ 2^m, тобто ступінчастий двійковий логарифм. У колекції Cranfield на 200 документів термін, що трапляється 90 разів, дістає вагу 2, а той, що тричі, — 7. INSPEC має 541 документ і 1341 термін, Keen — 797 документів. Просте викидання частих термінів, навпаки, знижувало якість: вони потрібні для повноти. Значущість приросту автори перевіряли за різницею площ під кривими точність — повнота; самих чисел приросту прочитаний файл не несе: це передрук 2004 року в Journal of Documentation 60(5), де таблиця I і рисунки порожні. Слів «inverse document frequency» і «IDF» у статті немає.