Llama 4
Meta перевела всю відкриту лінію на суміш експертів і дала меншій моделі вікно контексту в десять мільйонів токенів.
Чому це важливо
Відкрита лінія змінила архітектуру цілком — і водночас уперше не втримала обіцянки, які дала на вимірах.
Scout має 109 мільярдів параметрів із 17 активними, Maverick — 400 мільярдів із 17 активними. Найбільша модель сімейства, Behemoth, лишилася в передпоказанні. Випуск супроводжувала суперечка: версія, яку подали на рейтинг людських уподобань, відрізнялася від опублікованих ваг — у власному дописі Meta назвала її експериментальною чат-версією, а оператор рейтингу — моделлю, підлаштованою під людські вподобання. Епізод показав, чого вартують публічні виміри, коли постачальник може подати на них іншу модель, і надалі рейтинг змінив правила.