Kimi K3 — 2,8 трильйона параметрів
Moonshot AI відкрила ваги Kimi K3: 2,8 трильйона параметрів, 104 мільярди активних на токен, контекст у мільйон токенів.
Чому це важливо
Найбільша модель, чиї ваги можна завантажити, — за словами компанії, перша відкрита модель класу 3T, — і вона не американська.
Із 896 маршрутизованих експертів на кожен токен працюють шістнадцять, плюс два спільні; зображення модель приймає нативно. Через API модель вийшла 16 липня, ваги обіцяли до 27 липня і виклали на Hugging Face саме 27-го. Ліцензія власна: оператор, що продає моделі як сервіс і має сукупний виторг групи понад 20 мільйонів доларів за 12 місяців, до комерційного використання мусить укласти з Moonshot окрему угоду. Попередню найбільшу відкриту модель, DeepSeek V4 Pro на 1,6 трильйона, K3 перевершує в 1,75 раза. 2024 року Meta називала найбільшою відкритою моделлю Llama 3.1 на 405 мільярдів; K3 майже всемеро більша.