BERT
BERT представив двонапрямлене попереднє навчання.
Чому це важливо
Ця робота закріпила відтворюваний рецепт двонапрямленого попереднього навчання для мовних задач.
Наведені бенчмарки залежать від моделі й задач оцінювання зі статті.
Запис атласу: https://www.aitimeline.dev/uk/events/evt-0012/
Дослідження · 11 жовтня 2018 р.
Відомості про подію
- Дата події
- 11 жовтня 2018 р.
- Дата на часовій осі
- Дата події
- Перевірка
- Джерела зібрано автоматично · 11 вересня 2026 р.
- Лінії
- ID
- evt-0012
Джерела
- першоджерело BERT
arXiv · Опубліковано 11 жовтня 2018 р.
- першоджерело BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
ACL Anthology (NAACL-HLT 2019) · Опубліковано 2019
Пов’язані події
Раніше
- Протиставляє GPT-1 2018посилається на цей запис
Інша ставка на тому самому механізмі: породження замість двонаправленого кодування.
- Пов’язано GLUE: дев'ять завдань, один бал, закриті тести 2018посилається на цей запис
Зведений бал на дев'яти завданнях був тим числом, яким через півроку міряли попередньо навчені моделі. Жодне з джерел цього запису причинності не стверджує.
- Спирається на Transformer 2017
BERT використовує двоспрямований Transformer-encoder, прямо описаний у статті.
- BERT · arXiv
Пізніше
- Спирається на ERNIE 2.0: попереднє навчання, що дописує завдання 2019посилається на цей запис
Модель бере ті самі налаштування трансформера, що й BERT, і міряється з ним завдання за завданням.
- Пов’язано wav2vec 2.0 2020посилається на цей запис
Самонавчання маскуванням узято з підходу, показаного на тексті.