Нейронна ймовірнісна мовна модель
Бенжіо з співавторами замінили таблиці n-грам мережею, що вчить для кожного слова вектор і передбачає наступне слово за цими векторами.
Чому це важливо
Слова вперше стали точками простору, де близькість означає схожість значення, — основа всього подальшого моделювання мови.
Проблема n-грам у розрідженості: більшість поєднань слів у корпусі не трапляється жодного разу. Розподілене подання розв'язує це узагальненням — модель, що бачила «кіт біжить», дає розумну ймовірність і для «пес біжить». Обчислювально модель була надто дорогою для свого часу. Word2vec 2013 року та ELMo є прямими нащадками цієї ідеї.