Нейронна ймовірнісна мовна модель

Бенжіо з співавторами замінили таблиці n-грам мережею, що вчить для кожного слова вектор і передбачає наступне слово за цими векторами.

Чому це важливо

Слова вперше стали точками простору, де близькість означає схожість значення, — основа всього подальшого моделювання мови.

Проблема n-грам у розрідженості: більшість поєднань слів у корпусі не трапляється жодного разу. Розподілене подання розв'язує це узагальненням — модель, що бачила «кіт біжить», дає розумну ймовірність і для «пес біжить». Обчислювально модель була надто дорогою для свого часу. Word2vec 2013 року та ELMo є прямими нащадками цієї ідеї.

Відомості про подію

Дата події

лютий 2003 р.

Дата на часовій осі

Дата події

Перевірка

Джерела зібрано автоматично · 17 вересня 2026 р.

Лінії

Теорія навчання

ID

evt-0205

Випуск Journal of Machine Learning Research за лютий 2003 року; попередню версію доповідали на NIPS 2000.

Йошуа Бенжіо

Джерела

першоджерело A Neural Probabilistic Language Model
Journal of Machine Learning Research · Опубліковано лютий 2003 р.
першоджерело A Neural Probabilistic Language Model (NIPS 2000, Bengio, Ducharme, Vincent)
NeurIPS Proceedings (NIPS 2000) · Опубліковано 2000

Пов’язані події

Раніше

Уможливлює Порівняння згладжувань Чена й Гудмана 1998посилається на цей запис
Нейронну мовну модель Бенжіо порівнюють із n-грамами з модифікованим згладжуванням Кнезера — Нея, посилаючись на Кнезера й Нея 1995 року та на журнальну версію роботи Чена й Гудмана 1999 року.
- A Neural Probabilistic Language Model · Journal of Machine Learning Research
Уможливлює Класи слів із взаємної інформації 1992посилається на цей запис
Бенжіо з колегами виходять із кластеризації слів Брауна та ін., замінюють дискретний клас слова неперервним вектором і порівнюють свою модель із класовими n-грамами.
- A Neural Probabilistic Language Model · Journal of Machine Learning Research
Уможливлює Латентний семантичний аналіз 1990посилається на цей запис
Бенжіо з колегами називають латентне семантичне індексування Дірвестера та ін. тим місцем, де вектори ознак слів уже вчилися зі співвживання в документах, і пробували головні компоненти співвживання як фіксовані ознаки слів.
- A Neural Probabilistic Language Model · Journal of Machine Learning Research
Спирається на Зворотне поширення 1986
Модель навчається зворотним поширенням.
- A Neural Probabilistic Language Model · Journal of Machine Learning Research
Пов’язано Статистичне розпізнавання мовлення 1976
Замість підрахунку n-грам ймовірність слова оцінює мережа з розподіленим поданням.

Пізніше

Пов’язано word2vec 2013посилається на цей запис
Ідею векторного подання слів зведено до моделі, яку можна навчити на мільярдах слів.