Керування комп'ютером
Anthropic відкрила режим, у якому модель дивиться на знімок екрана, рухає курсор, натискає й друкує — працює з інтерфейсом так, як людина.
Чому це важливо
Моделі перестали потребувати спеціального програмного інтерфейсу: усе, до чого є доступ у людини, стало доступним і їм.
Доти агент міг діяти в світі лише через заздалегідь описані інструменти — виклик АРІ, функція, плагін. Робота з екраном знімає це обмеження: будь-яка стара програма без жодного інтерфейсу для машин раптом стає керованою. Anthropic випустила режим із прямим застереженням, що він ненадійний і повільний, і рекомендувала запускати його в пісочниці. Ризик очевидний: модель, що діє за побаченим на екрані, піддається впливу того, що на цей екран потрапляє.