Документ як вектор термінів
У листопаді 1975 року Джерард Салтон, А. Вонг і Ч. С. Ян з Корнелла описали документи й запити як вектори ваг термінів і показали, що пошук працює краще там, де документи в цьому просторі лежать далі один від одного. На трьох колекціях — 424 документи з аеродинаміки, 450 з медицини і 425 статей Time — вони за цим мірилом добирали словник індексування.
Чому це важливо
Пошук став питанням геометрії: схожість документа й запиту — функція кута між векторами, а якість словника — щільність простору.
Схожість автори описують як скалярний добуток векторів «або обернену функцію кута» між ними; слова «косинус» у статті немає. Заміна звичайної частоти терміна на обернену документну частоту давала, за попередньою роботою Салтона і Яна, близько 14 % середнього поліпшення точності. Колекція Time має 7569 термінів. Таблиця IV: автоматичні фрази проти стандартного прогону — +32 %, +39 % і +17 % на трьох колекціях, фрази з тезаурусом — +33 %, +50 % і +18 %. Термін «модель векторного простору» стоїть у назві; сама система SMART, на якій зроблено досліди, у запису не описується.