Запуск Вікіпедії
Відкрилася енциклопедія, яку пише хто завгодно, — і за кілька років вона стала найбільшим упорядкованим текстовим корпусом у відкритому доступі.
Чому це важливо
Ненавмисно створено те, на чому навчатимуться мовні моделі: великий, структурований, багатомовний і вільно доступний текст.
Ларрі Сенгер запропонував вікі поруч із Nupedia в її розсилці 10 січня 2001 року: сайт, де зміни може вносити «абсолютно будь-хто». Назва «Вікіпедія» з'являється наступного дня, а 17 січня він оголосив у розсилці wikipedia.com. Вміст поширювався за ліцензією GNU Free Documentation License. Задум був суто редакційний і машинного навчання не передбачав. Але поєднання обсягу, перехресних посилань, категорій і вільної ліцензії зробило Вікіпедію стандартним джерелом для всього: від тренування векторних подань слів до наборів для перевірки фактів. Практично кожна велика мовна модель містить її у навчальних даних.