Запис атласу: https://www.aitimeline.dev/uk/events/evt-0297/
Доступність · 18 квітня 2024 р.
Llama 3
Meta випустила моделі на 8 і 70 мільярдів параметрів, навчені на п'ятнадцяти трильйонах токенів — усемеро більше даних, ніж отримала Llama 2.
Чому це важливо
Відкриті моделі перестали бути на покоління позаду: менша з двох тримала рівень, на якому рік тому були найбільші закриті.
Кількість даних, а не параметрів, стала головним важелем: 8-мільярдна модель бачила більше тексту, ніж 70-мільярдна попередниця, і саме це дало приріст. Meta також розширила словник токенізатора і застосувала групову увагу, щоб здешевити висновування. Ліцензія лишалася не зовсім відкритою — з обмеженням для дуже великих сервісів, — але на практиці ваги стали основою для більшості похідних моделей року.
Відомості про подію
- Дата події
- 18 квітня 2024 р.
- Дата на часовій осі
- Дата події
- Перевірка
- Джерела зібрано автоматично · 22 вересня 2026 р.
- Лінії
- ID
- evt-0297
Моделі на 8 і 70 мільярдів параметрів випущено 18 квітня 2024 року.
Пов’язані події
Раніше
- Пов’язано Mixtral 8x7B 2023
Дві відкриті моделі того самого сезону, що йшли різними шляхами до якості.
- Розвиває Llama 2 2023
Наступне покоління тієї самої відкритої лінії, через дев'ять місяців.
Пізніше
- Спирається на Держава видає ваги традиційною китайською 2024посилається на цей запис
Llama 3 вийшла 18 квітня, а тайванська команда видала на ній свою модель уже 29-го — чотири дні на перебудову всього ланцюга.
- Розвиває Llama 3.1 на 405 мільярдів 2024посилається на цей запис
Найбільша модель того самого сімейства, через три місяці після перших двох.