Tay вимкнено менш ніж за три дні
23 березня 2016 року Microsoft запустила в Twitter чат-бота Tay для 18–24-річних американців, який навчався з розмов. За першу добу скоординована група користувачів скористалася вразливістю, і Tay публікував образливі тексти й зображення; 25 березня компанія вибачилася, а бот був уже вимкнений.
Чому це важливо
Система, що вчиться з відкритих розмов, виявилася вразливою до навмисного навчання поганому, і це визнав сам виробник: фільтри й стрес-тести перед запуском не передбачили саме такої атаки.
Джерело — допис Пітера Лі, корпоративного віцепрезидента Microsoft, 25 березня 2016 року: «in the first 24 hours of coming online, a coordinated attack by a subset of people exploited a vulnerability in Tay»; компанія бере «full responsibility» і поверне Tay, лише коли зможе краще передбачати зловмисні наміри. Tay робили за досвідом китайського XiaoIce, яким, за дописом, користувалися близько 40 мільйонів людей. Механізму вразливості допис не розкриває. Запис не стверджує, що Tay працював 16 годин і опублікував 96 тисяч твітів: у документі Microsoft цих чисел немає.