Закони масштабування

Відомості про подію

Дата події

23 січня 2020 р.

Дата на часовій лінії

Дата події

Перевірка

Джерела зібрано автоматично · 11 вересня 2026 р.

Лінії

• Теорія навчання
• Обчислення

ID

evt-0014

• OpenAI

Джерела

• першоджерело Scaling Laws

  arXiv · Опубліковано 23 січня 2020 р.

Пов’язані події

• Пов’язано GPT-2

  Дослідження вимірювало моделі тієї самої архітектурної родини.

Записи, що посилаються на цей

• Пов’язано Чип Jalapeño

  Обидва записи стосуються обчислювальних ресурсів. Закономірності навчання не є доказом походження архітектури чипа для інференсу.

• Пов’язано Мільярд Microsoft для OpenAI

  Обчислення такого обсягу зробили можливими досліди з масштабування.

• Спирається на GPT-3

  Розмір моделі обрано за законами масштабування, опублікованими того ж року.

  Language Models are Few-Shot Learners
• Пов’язано o1 і обчислення під час відповіді

  Якість зростає з обчисленнями під час відповіді, а не лише під час навчання.

• Розвиває BIG-bench: 204 завдання, зібрані 442 авторами

  Закони масштабування описали, як якість росте плавно з обчисленням; цей набір шукав завдання, де вона росте не плавно, і назвав крихкі метрики однією з причин таких стрибків.

  Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models
• Пов’язано Три епохи обчислень: 21, 6 і 10 місяців

  Закон масштабування каже, скільки обчислень варто витратити; цей ряд каже, скільки їх витрачали насправді і як швидко це росло.

  Compute Trends Across Three Eras of Machine Learning (arXiv:2202.05924v1)
• Протиставляє Chinchilla: навчання, оптимальне за обчисленнями

  Каплан і співавтори радили при 10-кратному бюджеті збільшувати модель у 5,5 раза, а токени лише в 1,8; ця стаття знаходить, що розмір моделі й кількість токенів треба масштабувати в рівних пропорціях.

  Training Compute-Optimal Large Language Models