Відкриті ваги з Абу-Дабі
25 травня 2023 року Інститут технологічних інновацій в Абу-Дабі відкрив Falcon 40B — модель на 40 мільярдів параметрів, навчену на трильйоні токенів корпусу RefinedWeb. Навчання зайняло два місяці на 384 прискорювачах A100 на 40 гігабайтів у хмарі AWS. 31 травня інститут оголосив модель вільною від роялті під ліцензією Apache 2.0.
Чому це важливо
Це перший випадок, коли модель такого класу віддає у відкритий доступ державний дослідний інститут поза США й Європою — і віддає повністю, без дослідницького обмеження, яке тоді супроводжувало ваги LLaMA. Для країн, що не могли ні купити такі ваги, ні натренувати їх, це змінило те, з чого можна починати.
Корпус зібрано з відкритих обходів вебу: після фільтрування машинно згенерованого тексту й дублікатів залишився пул майже на п'ять трильйонів токенів, з якого на навчання взяли трильйон, доповнений добірними джерелами на кшталт наукових статей і розмов із соцмереж. Архітектура — причинний декодер із багатозапитовою увагою й FlashAttention. Навчання йшло з грудня 2022 року на інстансах AWS P4d за тривимірною схемою паралелізму з ZeRO. Про дати. Сховище на Hugging Face створено 24 травня о 12:08 UTC, тобто напередодні оголошення. 29 травня інститут повідомив, що Falcon 40B посів перше місце в лідерборді Hugging Face; 31 травня — що модель вільна від роялті. Звіт відносив зміну ліцензії до 7 червня: під цією датою на сторінці інституту стоїть інша новина, про конкурс заявок на обчислювальний час. Чого запис не стверджує. Перше місце в лідерборді взято з власного повідомлення інституту: архівна копія самого лідерборда за 2 червня 2023 року порожня, бо сторінка малюється скриптом, тож незалежного запису того рейтингу дістати не вдалося. Порівняння з GPT-3 і твердження про найкращу відкриту модель — теж слова виробника про власний виріб. Через це впевненість у записі середня.