BERT
BERT представив двонапрямлене попереднє навчання.
Чому це важливо
Ця робота закріпила відтворюваний рецепт двонапрямленого попереднього навчання для мовних задач.
Наведені бенчмарки залежать від моделі й задач оцінювання зі статті.
Дослідження · 11 жовтня 2018 р.
Відомості про подію
- Дата події
- 11 жовтня 2018 р.
- Дата на часовій лінії
- Дата події
- Перевірка
- Джерела зібрано автоматично · 11 вересня 2026 р.
- Лінії
- ID
- evt-0012
Джерела
- першоджерело BERT
arXiv · Опубліковано 11 жовтня 2018 р.
Пов’язані події
- Спирається на Transformer
BERT використовує двоспрямований Transformer-encoder, прямо описаний у статті.
BERT
Записи, що посилаються на цей
- Протиставляє GPT-1
Інша ставка на тому самому механізмі: породження замість двонаправленого кодування.
Improving Language Understanding by Generative Pre-Training - Пов’язано wav2vec 2.0
Самонавчання маскуванням узято з підходу, показаного на тексті.
- Пов’язано GLUE: дев'ять завдань, один бал, закриті тести
Зведений бал на дев'яти завданнях був тим числом, яким через півроку міряли попередньо навчені моделі. Жодне з джерел цього запису причинності не стверджує.
- Спирається на ERNIE 2.0: попереднє навчання, що дописує завдання
Модель бере ті самі налаштування трансформера, що й BERT, і міряється з ним завдання за завданням.
ERNIE 2.0: A Continual Pre-training Framework for Language Understanding (arXiv:1907.12412v1)