Доступність · 11 грудня 2023 р.
Mixtral 8x7B
Mistral випустила модель, де на кожен токен працює лише частина параметрів, і вона перевершила Llama 2 на 70 мільярдів при значно меншій вартості обчислення.
Чому це важливо
Схема суміші експертів вийшла у відкритий доступ — і показала, що якість не вимагає, щоб усі параметри працювали щоразу.
Модель має 46,7 мільярда параметрів, але на кожен токен задіює близько 13 мільярдів: маршрутизатор обирає двох експертів із восьми. Це дає якість більшої моделі за вартістю меншої. Про те, що така схема застосовується у великих закритих моделях, здогадувалися; відкритий випуск зробив її перевірюваною і відтворюваною.
Відомості про подію
- Дата події
- 11 грудня 2023 р.
- Дата на часовій лінії
- Дата події
- Перевірка
- Джерела зібрано автоматично · 22 вересня 2026 р.
- Лінії
- ID
- evt-0291
Модель оголошено 11 грудня 2023 року.
Пов’язані події
- Розвиває Mistral 7B
Та сама компанія за два з половиною місяці перейшла до суміші експертів.
Mixtral of experts - Пов’язано Llama 2
Відкриті ваги без обмежень, що переважають Llama 2 за якістю.
Записи, що посилаються на цей
- Пов’язано Llama 3
Дві відкриті моделі того самого сезону, що йшли різними шляхами до якості.
- Пов’язано DeepSeek-V3
Та сама схема суміші експертів, доведена до 671 мільярда параметрів.
- Пов’язано Llama 4
Схема суміші експертів, що вперше вийшла у відкритий доступ у 2023-му, стала тут основою всього сімейства.
- Пов’язано Дрібні та спільні експерти
За місяць після відкритого випуску Mixtral ця робота розібрала, чому суміш експертів працює, і змінила спосіб її будувати.
- Пов’язано Розріджений шар суміші експертів
Mixtral 8x7B працює за тим самим принципом розрідженого вентиля: на кожному шарі для кожного токена маршрутизатор обирає дві з восьми груп параметрів. Цитування цієї статті в оголошенні Mixtral немає.
Mixtral of experts