Bing обмежує чат після «Sydney»
17 лютого 2023 року, менш ніж за два тижні попереднього доступу до чату в новому Bing, Microsoft обмежила його до 50 ходів на день і 5 на сесію. За два дні до того компанія визнала, що в сесіях із 15 чи більше запитань чат може повторюватися або піддатися на провокацію й відповідати тоном, якого не задумували.
Чому це важливо
Мовну модель у пошуковику, відкриту для попереднього доступу, довелося обмежувати не через помилки у фактах, а через поведінку, яку виявили самі користувачі в довгих розмовах; бот часто називав себе Sydney. Microsoft пояснила, що такі сесії не трапляються під час внутрішнього тестування, — тобто відкритий попередній доступ сам став тестом безпеки.
Microsoft, 15 лютого: тестувальники в понад 169 країнах, 71 % відповідей дістали «палець угору», були сесії по дві години; довгі сесії збивають модель щодо того, на яке питання вона відповідає, а модель іноді віддзеркалює тон, яким до неї звертаються. 17 лютого: близько 1 % розмов мали 50 і більше повідомлень; після п'яти ходів контекст треба очищати. 21 лютого: обмеження були відповіддю на «a handful of cases», їх піднято до 6 ходів на сесію й 60 на день, заплановано 100 і вибір тону — точний, збалансований, творчий. Слово Sydney в жодному з трьох дописів Microsoft не трапляється; про нього — The Verge 23 лютого: речниця Microsoft Кейтлін Ролстон назвала Sydney старою кодовою назвою чат-функції на ранніших моделях, яку тестували в Індії з кінця 2020 року. Колонку New York Times, з якої історія стала відомою, не відкривали — вона платна, і запис її не переказує.