ChatGPT бачить і говорить
25 вересня 2023 року OpenAI почала відкривати в ChatGPT зображення як вхід і голосову розмову для користувачів Plus і Enterprise протягом двох тижнів. Разом вийшла системна картка GPT-4V, моделі, яку оголосили з GPT-4 у березні, але відкривали лише обмеженому колу.
Чому це важливо
Модель, що міркує над фотографіями, знімками екрана й документами, стала доступна масовому продукту, а не лише дослідникам. Голос став другим способом розмови з тією самою системою.
Голос — п'ять варіантів, створених із професійними акторами новою моделлю синтезу з тексту й кількох секунд зразка; розпізнає мовлення Whisper. Через ризик видавання себе за інших голос обмежили голосовим чатом, а прямі твердження про людей на фото — технічними заходами. Be My Eyes з березня до початку серпня 2023 року випробовувала модель із майже 200 незрячими тестувальниками, у вересні — з 16 000 користувачами й 25 000 описів на день. OpenAI попереджає про погане читання нелатинських письмен.