word2vec
Міколов із співавторами спростили нейронну мовну модель так, що вектори слів стало можливо навчити на мільярдах слів за години.
Чому це важливо
Вектори слів із дослідницької цікавості перетворилися на буденний інструмент, доступний будь-кому з ноутбуком.
Ключем стало прибирання прихованого шару і заміна повного softmax наближеннями. Найвідоміший результат — арифметика на векторах: король мінус чоловік плюс жінка дає королеву. Це зробило видимим те, що модель вивчає структуру значення, а не лише статистику сусідства. Інструмент розійшовся миттєво і став першим кроком до подань, на яких згодом побудували BERT.