Запис атласу: https://www.aitimeline.dev/uk/events/evt-0291/
Доступність · 11 грудня 2023 р.
Mixtral 8x7B
Mistral випустила модель, де на кожен токен працює лише частина параметрів, і вона перевершила Llama 2 на 70 мільярдів при значно меншій вартості обчислення.
Чому це важливо
Схема суміші експертів вийшла у відкритий доступ — і показала, що якість не вимагає, щоб усі параметри працювали щоразу.
Модель має 46,7 мільярда параметрів, але на кожен токен задіює близько 13 мільярдів: маршрутизатор обирає двох експертів із восьми. Це дає якість більшої моделі за вартістю меншої. Про те, що така схема застосовується у великих закритих моделях, здогадувалися; відкритий випуск зробив її перевірюваною і відтворюваною.
Відомості про подію
- Дата події
- 11 грудня 2023 р.
- Дата на часовій осі
- Дата події
- Перевірка
- Джерела зібрано автоматично · 22 вересня 2026 р.
- Лінії
- ID
- evt-0291
Модель оголошено 11 грудня 2023 року.
Пов’язані події
Раніше
- Розвиває Mistral 7B 2023
Та сама компанія за два з половиною місяці перейшла до суміші експертів.
- Пов’язано Llama 2 2023
Відкриті ваги без обмежень, що переважають Llama 2 за якістю.
- Пов’язано Розріджений шар суміші експертів 2017посилається на цей запис
Mixtral 8x7B працює за тим самим принципом розрідженого вентиля: на кожному шарі для кожного токена маршрутизатор обирає дві з восьми груп параметрів. Цитування цієї статті в оголошенні Mixtral немає.
Пізніше
- Пов’язано Дрібні та спільні експерти 2024посилається на цей запис
За місяць після відкритого випуску Mixtral ця робота розібрала, чому суміш експертів працює, і змінила спосіб її будувати.
- Пов’язано Llama 3 2024посилається на цей запис
Дві відкриті моделі того самого сезону, що йшли різними шляхами до якості.
- Пов’язано DeepSeek-V3 2024посилається на цей запис
Та сама схема суміші експертів, доведена до 671 мільярда параметрів.
- Пов’язано Llama 4 2025посилається на цей запис
Схема суміші експертів, що вперше вийшла у відкритий доступ у 2023-му, стала тут основою всього сімейства.