Арабська як третина навчального набору
30 серпня 2023 року Inception, MBZUAI і Cerebras Systems випустили Jais і Jais-chat — моделі на 13 мільярдів параметрів під ліцензією Apache 2.0. Навчання пройшло на 395 мільярдах токенів, де арабська складає 33 %: 72 мільярди зібраних токенів, пройдених 1,6 раза до 116 мільярдів, плюс 232 мільярди англійських і решта коду.
Чому це важливо
Доти арабська в багатомовних моделях була одним рядком серед п'ятдесяти, часткою у відсоток. Тут її зробили однією з двох мов і показали, що бракує саме даних, а не уваги: зібраний корпус на 72 мільярди токенів автори називають найбільшим арабським на той час, і його все одно довелося повторювати 1,6 раза.
Архітектура — декодер GPT-3 з активацією SwiGLU і позиційним зміщенням ALiBi. Навчали на 16 системах CS-2 у складі суперкомп'ютера Condor Galaxy 1 від Cerebras, побудованого спільно з G42. Автори свідомо не додавали інших мов, щоб не зводити арабську до меншості, і водночас додавали англійську, бо самої арабської бракує на модель, здатну показати нові властивості. За власним оцінюванням автори заявляють кращі знання й міркування арабською, ніж у будь-якої наявної відкритої арабської чи багатомовної моделі, і конкурентність англійською з відкритими англоцентричними моделями того самого розміру попри значно менше англійських даних. Чого запис не стверджує. Оцінка в 4 екзафлопси для Condor Galaxy 1, яку навів звіт, у статті є лише в назві посилання на блог Cerebras у виносці, тобто це твердження виробника про власну машину, а не вимір; воно не входить. Порівняння з іншими моделями зроблено самими авторами.