LLaMA

Meta випустила сімейство моделей від 7 до 65 мільярдів параметрів, навчених лише на відкритих даних, і роздала ваги дослідникам.

Чому це важливо

Менша модель перевершила вдесятеро більшу — і ваги, що витекли за тиждень, породили цілу галузь відкритих моделей.

Ваги видавали за заявкою, але вже за тиждень вони з'явилися у відкритому доступі без дозволу Meta. Компанія не стала переслідувати поширення, і на LLaMA за місяці виросли Alpaca, Vicuna і сотні донавчених варіантів. Це переламало припущення, що передові моделі лишаться у кількох компаній: виявилося, що донавчити чужу основу можна за сотні доларів.

Відомості про подію

Дата події

24 лютого 2023 р.

Дата на часовій осі

Дата події

Перевірка

Джерела зібрано автоматично · 17 вересня 2026 р.

Лінії

Відкритість

ID

evt-0271

Моделі оголошено 24 лютого 2023 року; препринт датовано 27 лютого.

Джерела

першоджерело LLaMA: Open and Efficient Foundation Language Models
arXiv · Опубліковано лютий 2023 р.
вторинне Llama (language model)
Wikipedia

Пов’язані події

Раніше

Пов’язано Stable Diffusion 2022
Друга за рік подія, що зробила потужну модель доступною поза компанією-розробником.
Уможливлює Chinchilla: навчання, оптимальне за обчисленнями 2022посилається на цей запис
LLaMA посилається на рекомендацію Hoffmann et al. (2022) навчати модель на 10 млрд параметрів на 200 млрд токенів і відходить від неї: модель на 7 млрд продовжує поліпшуватися й після трильйона токенів.
- LLaMA: Open and Efficient Foundation Language Models · arXiv
Уможливлює Поворотні позиційні вкладення (RoPE) 2021посилається на цей запис
LLaMA прибирає абсолютні позиційні вкладення й додає в кожному шарі поворотні позиційні вкладення (RoPE), «запроваджені Su et al. (2021)».
- LLaMA: Open and Efficient Foundation Language Models · arXiv
Пов’язано GPT-3 2020
Модель на 13 мільярдів параметрів перевершує GPT-3 на 175 мільярдах на більшості вимірів.

Пізніше

Спирається на Alpaca 2023посилається на цей запис
Модель є донавченою версією LLaMA на 7 мільярдів параметрів.
- Alpaca: A Strong, Replicable Instruction-Following Model · Stanford CRFM
Спирається на Три відсотки бюджету навчання на одну мову 2023посилається на цей запис
Менш ніж за два місяці після виходу ваг LLaMA бразильська група донавчила їх португальською.
- Sabia: Portuguese Large Language Models (arXiv:2304.07880v1) · arXiv
Пов’язано QLoRA 2023посилається на цей запис
Метод робить донавчання відкритих моделей доступним на одній відеокарті.
Протиставляє Відкриті ваги з Абу-Дабі 2023посилається на цей запис
Три місяці по тому ваги такого самого класу віддали не під дослідницьку ліцензію, а без роялті — і з Абу-Дабі, а не з Каліфорнії.
- Falcon LLM, Technology Innovation Institute (archived 8 June 2023) · Technology Innovation Institute, via Internet Archive
Розвиває Llama 2 2023посилається на цей запис
Ваги тепер видають відкрито і дозволяють комерційне використання.
- Meta and Microsoft Introduce the Next Generation of Llama · Meta