ROOTS: корпус, де більшість джерел вибрали люди
6 грудня 2022 року консорціум BigScience описав ROOTS — багатомовний корпус на 1,6 ТБ, що охоплює 59 мов: 46 природних і 13 мов програмування. 62 % його обсягу в байтах походить із каталогу 252 джерел, які вибрали й задокументували учасники, а не автоматичний обхід.
Чому це важливо
Доти великий корпус означав те, що вдалося витягти з вебу, а склад описували постфактум. Тут порядок зворотний: спершу мовні спільноти називали, що варто взяти, і лише потім це збирали. Уперше походження джерел було не звітом про зроблене, а способом робити.
Каталог із 252 джерел зібрано щонайменше по 21 на кожну мовну категорію. Решта 38 % — текст із попередньо обробленого веб-обходу OSCAR, тобто той самий автоматичний шлях, лише як менша частина. 46 природних мов належать до дев'яти мовних сімей і трьох макроареалів. Серед 13 мов програмування Java, PHP і C++ дають понад половину документів. На цьому корпусі навчили відкриту модель BLOOM зі 176 мільярдами параметрів. Запис не наводить кількості токенів: у статті цього числа немає, а часто цитовані «341 мільярд» походять не звідси.