The Pile: 825 гібібайтів із двадцяти двох джерел
31 грудня 2020 року незалежна група EleutherAI випустила The Pile — англомовний корпус на 825,18 гібібайта, зібраний із двадцяти двох окремих наборів. Найбільший з них, веб-обхід Pile-CC, дає 227,12 ГіБ, тобто менш ніж п'яту частину.
Чому це важливо
Доти відкритий корпус означав веб, почищений від усього, що на веб не схоже. Тут навпаки: статті arXiv і PubMed Central, код із GitHub, судові рішення, патенти, субтитри, книжки. Уперше поза великою лабораторією з'явився матеріал, з якого можна вчити модель рівня GPT-3, і водночас склад цього матеріалу був названий поіменно.
Двадцять два набори з їхніми розмірами в таблиці 1: Pile-CC 227,12 ГіБ, PubMed Central 90,27, Books3 100,96, OpenWebText2 62,77, arXiv 56,21, GitHub 95,16, FreeLaw 51,15, Stack Exchange 32,20 і далі до 0,88 ГіБ листування Enron. Про Books3 стаття каже прямо: це книжки, узяті з копії вмісту приватного трекера Bibliotik, яку виклав Шон Пресер. Кількості книжок стаття не називає, тож її тут немає. Часто цитовані «108 ГБ» — це ті самі 100,96 ГіБ у десяткових одиницях. Окремий розділ 7.1 присвячено законності. Автори самі пишуть, що спільнота обговорює правомірність навчання на захищених матеріалах, але майже не обговорює правомірність їх обробки й поширення, — і самі доводять, що їхнє використання є добросовісним: некомерційне, перетворювальне, і повний текст потрібен через довгі залежності в мові.