У відкритому наборі знайшли заборонений вміст, роздачу спинили
20 грудня 2023 року Девід Тіл зі Stanford Internet Observatory оприлюднив перевірку LAION-5B: 3 226 записів із підозрою на матеріали сексуального насильства над дітьми. LAION зняла з роздачі LAION-5B і LAION-400M і повернула набір лише у серпні 2024 року.
Чому це важливо
Доти відкритість великого набору вважали самодостатньою чеснотою: кожен може подивитися, що всередині. Ця перевірка показала другий бік тієї самої властивості — подивитися справді зміг хтось сторонній, і знайдене вимагало зупинити роздачу. Це перший випадок, коли відкритий навчальний набір світового масштабу вилучили з обігу.
Метод: перцептивні хеші PhotoDNA, криптографічні хеші MD5 і пошук найближчих сусідів за вкладеннями самого набору. Перевірили 32 138 129 записів вище обраного порога. PhotoDNA дав 1 679 збігів; із тих, що ще були живі й потрапили на оцінку до канадського C3P, 746 класифіковано як матеріали або ймовірні матеріали насильства. Сукупно звіт називає 3 226 підозрілих записів. Запис навмисно не приписує звітові числа 1 008. Воно з'явилося пізніше й належить LAION: у серпні 2024 року організація повідомила, що прибрала 2 236 посилань за списками хешів Internet Watch Foundation і C3P, і що ці 2 236 охоплюють 1 008 посилань зі стенфордського звіту. Сама LAION додає, що значна частина таких посилань імовірно вже неживі, тож число є верхньою межею. Важливо, що йдеться про посилання, а не про зображення: LAION-5B складається з URL і підписів, самих файлів у ньому немає.