Llama 3.1 на 405 мільярдів
Meta відкрила ваги моделі на 405 мільярдів параметрів — найбільшої, чиї ваги будь-коли публікували, — з якістю на рівні передових закритих моделей.
Чому це важливо
Відрив закритих моделей від відкритих скоротився до місяців, і відтворити передовий рубіж стало питанням наявності обчислень, а не дозволу.
Технічний звіт описував навчання відверто: 15 трильйонів токенів, 16 тисяч прискорювачів H100, перелік збоїв обладнання за час прогону. Такої відкритості про інженерію передового навчання доти не публікував ніхто. Запустити модель на 405 мільярдів параметрів усе одно було по кишені небагатьом, але сам факт наявності ваг змінив розрахунки: держава чи компанія тепер могла мати передову модель, не питаючи нікого.