Whisper

OpenAI виклала у відкритий доступ модель, навчену на 680 тисячах годин різномовного звуку з вебу, що розшифровує 99 мов і перекладає англійською.

Чому це важливо

Розпізнавання мовлення стало безкоштовним, багатомовним і стійким до шуму — і на цьому лінія, розпочата 1971 року, практично закрилася.

Ставку зробили не на чистоту даних, а на їхню різноманітність: записи з вебу з недосконалими субтитрами замість студійних корпусів. Через це модель добре тримає акценти, шум і фонову музику — саме там, де системи, навчені на Switchboard, ламалися. Відкриті ваги означали, що розшифровка перестала потребувати ні хмари, ні передплати. Від програми ARPA до цього минуло п'ятдесят один рік. Скільки мов. Стаття, прийнята на ICML 2023, рахує 117 тисяч годин неанглійського звуку, що покривають 96 інших мов, тобто 97 разом з англійською; рядка «99» у ній немає. Картка моделі в репозиторії OpenAI каже про 98 інших мов. Число 99 у резюме походить із власних матеріалів OpenAI до релізу; три підрахунки різняться тим, що саме рахують, і жоден із них не є незалежним виміром.

Відомості про подію

Дата події

21 вересня 2022 р.

Дата на часовій осі

Дата події

Перевірка

Джерела зібрано автоматично · 22 вересня 2026 р.

Лінії

ID

evt-0245

Модель відкрито 21 вересня 2022 року.

Джерела

першоджерело Introducing Whisper
OpenAI · Опубліковано вересень 2022 р.
першоджерело Robust Speech Recognition via Large-Scale Weak Supervision (Proceedings of the 40th International Conference on Machine Learning, PMLR 202)
Proceedings of Machine Learning Research · Опубліковано 2023

Пов’язані події

Раніше

Пов’язано wav2vec 2.0 2020
Дві відповіді на ту саму задачу: самонавчання проти масштабу слабко розмічених даних.
Пов’язано Паритет із людиною в розпізнаванні мовлення 2016
Замість рекорду на одному корпусі — стійкість на будь-якому записі.
Уможливлює LibriSpeech: тисяча годин аудіокниг 2015посилається на цей запис
Whisper бере LibriSpeech за еталонний набір для виміру стійкості «через його центральну роль» у розпізнаванні мовлення й показує, що моделі, навчені на ньому, ламаються на інших наборах.
- Librispeech: an ASR corpus based on public domain audio books (ICASSP 2015) · IEEE ICASSP 2015, authors' copy
- Robust Speech Recognition via Large-Scale Weak Supervision (Proceedings of the 40th International Conference on Machine Learning, PMLR 202) · Proceedings of Machine Learning Research
Розвиває Deep Speech 2014
Наскрізна схема, доведена до 680 тисяч годин навчальних даних.
- Introducing Whisper · OpenAI

Пізніше

Спирається на ChatGPT бачить і говорить 2023посилається на цей запис
Голосовий режим ChatGPT перетворює мовлення користувача на текст за допомогою Whisper.
- ChatGPT can now see, hear, and speak · OpenAI
Пов’язано GPT-4o 2024посилається на цей запис
Конвеєр із трьох моделей замінено однією, і затримка розмови впала до людської.
Пов’язано Moshi 2024посилається на цей запис
Замість розпізнавати мовлення в текст модель працює зі звуком з обох боків розмови.
Протиставляє Cohere відкриває провідну модель розпізнавання мовлення 2026посилається на цей запис
Той самий рейтинг ставить Whisper Large v3, давнішу відкриту модель, на 7,44 відсотка помилок у словах проти 5,42.
- Cohere Transcribe: Open-Source Speech Recognition · Cohere