Держава видає ваги традиційною китайською
15 квітня 2024 року тайванська програма TAIDE віддала публіці модель LX-7B на основі Llama 2, і за неповні пів місяця її завантажили понад шість тисяч разів. Коли 19 квітня вийшла Llama 3, команда за чотири дні зібрала на ній версію Llama3-TAIDE-LX-8B-Chat-Alpha1 і випустила її 29 квітня.
Чому це важливо
Тут держава виступає не регулятором і не покупцем обчислень, а видавцем ваг: модель робиться традиційною китайською й на тайванських архівах, щоб текст не тягнув за собою ні спрощеного письма, ні лексики материка. Чотири дні між чужим релізом і своїм показують, що вартість такої суверенності — це вартість донавчання, а не вартість моделі.
Раду з науки й технологій зібрала промисловість, університети й дослідні установи на початку 2023 року. За рік вийшли дві моделі на основі Llama 2: LX-7B у комерційній версії і LX-13B для академічного й дослідного вжитку. Рада називає п'ять завдань, де вони мають перевагу, — написання статей, написання листів, реферування, переклад з англійської китайською та з китайської англійською, — і додає здатність вести багатокрокову розмову й уникати недоречних відповідей. Дані збирав Центр досліджень політики та інформації, обчислювальне середовище готував Національний центр високопродуктивних обчислень; обидва входять до NAR Labs. Підсумки року показали 3 травня 2024 року. Чого запис не стверджує. Обсягу навчального корпусу сторінка не називає, тож сотень мільярдів символів, які навів звіт, тут немає. Немає й жодного виміряного порівняння з базовою Llama: п'ять завдань названо як сильні сторони, без чисел, і це оцінка самої програми. Через це впевненість у записі середня. Звіт називав моделі LX-7B і 8B та чотири завдання; насправді за рік вийшли 7B і 13B на Llama 2, 8B з'явилася окремо на Llama 3, а завдань п'ять.