GPT-1
OpenAI показала, що трансформер, попередньо навчений передбачати наступне слово на неанотованому тексті, після дообчення б'є спеціалізовані моделі.
Чому це важливо
Схема «навчити на всьому тексті, потім дообучити на задачі» вперше спрацювала для мови — і стала єдиною схемою на наступне десятиліття.
Модель — 12-шаровий трансформерний декодер (768-вимірні стани, 12 голів уваги), навчений на корпусі BooksCorpus (понад 7 000 неопублікованих книжок). Стаття не називає кількості параметрів: число 117 мільйонів узято з таблиці 2 статті про GPT-2 (2019), де модель із 12 шарів і шириною 768 має 117M, а найменша модель названа еквівалентною початковому GPT. Ключове не в архітектурі, а в порядку дій: спершу передбачення наступного слова на величезному неанотованому корпусі, потім коротке дообчення під конкретну задачу. Через чотири місяці BERT показав те саме для двонаправленого кодування, і суперечка про те, яка схема краща, тривала до появи GPT-3.