WaveNet

DeepMind навчила мережу породжувати звук відлік за відліком — і синтезоване мовлення в сліпих тестах стало природнішим за найкращі наявні системи, а розрив із живим мовленням скоротився більш ніж удвічі.

Чому це важливо

Синтез мовлення перейшов від склеювання записаних фрагментів і параметричних моделей до породжувальної моделі сирого звуку.

Наявні системи або складали мовлення з записаних фрагментів, або породжували його параметрично, і параметричні звучали менш природно, ніж конкатенативні. WaveNet моделює розподіл кожного наступного відліку за всіма попередніми, використовуючи розширені причинні згортки. У тесті природності англійською WaveNet мав 4,21 із 5 проти 4,55 для живого мовлення: розрив із найкращою синтетичною системою скоротився з 0,69 до 0,34, але не зник. Перша версія була надто повільною для практики; через рік оптимізована версія запрацювала в Google Assistant.

Відомості про подію

Дата події

вересень 2016 р.

Дата на часовій осі

Дата події

Перевірка

Джерела зібрано автоматично · 17 вересня 2026 р.

Лінії

ID

evt-0232

Оголошення від 8 вересня 2016 року.

Джерела

першоджерело WaveNet: A generative model for raw audio
DeepMind · Опубліковано вересень 2016 р.
першоджерело WaveNet: A Generative Model for Raw Audio
arXiv (van den Oord and others, Google DeepMind and Google) · Опубліковано вересень 2016 р.
першоджерело WaveNet launches in the Google Assistant
Google DeepMind · Опубліковано 4 жовтня 2017 р.

Пов’язані події

Раніше

Спирається на AlexNet в ImageNet 2012
Модель побудовано на згортках, тільки причинних і з розширенням.
- WaveNet: A generative model for raw audio · DeepMind
Уможливлює Голос зі статистичної моделі: HTS 1999посилається на цей запис
WaveNet описує статистичний параметричний синтез на HMM із посиланням на дисертацію Йосімури 2002 року й бере параметричну систему за базу порівняння.
- WaveNet: A Generative Model for Raw Audio (A. van den Oord, S. Dieleman, H. Zen et al.), arXiv:1609.03499v1, 12 September 2016 · arXiv (Google DeepMind)
Уможливлює Вибір одиниць: голос зі шматків запису 1996посилається на цей запис
WaveNet називає цю статтю серед основ конкатенативного синтезу й бере за базу порівняння систему вибору одиниць.
- WaveNet: A Generative Model for Raw Audio (A. van den Oord, S. Dieleman, H. Zen et al.), arXiv:1609.03499v1, 12 September 2016 · arXiv (Google DeepMind)
Пов’язано Динамічне викривлення часу 1978
Звук породжують відліком за відліком замість фільтра на коефіцієнтах.

Пізніше

Протиставляє Tacotron: мовлення прямо з літер 2017посилається на цей запис
Автори протиставляють себе WaveNet: той повільний через генерацію по відліку й не наскрізний, бо потребує лінгвістичних ознак від окремого фронтенду; Tacotron генерує по кадру й вчиться з пар «текст — звук».
- Tacotron: A Fully End-to-End Text-to-Speech Synthesis Model (arXiv:1703.10135v1) · arXiv (Google)
Спирається на Jukebox: пісні зі співом як сирий звук 2020посилається на цей запис
Кодери й декодери VQ-VAE Jukebox побудовано із залишкових мереж «у стилі WaveNet»; WaveNet стаття називає попередником авторегресивної генерації сирого звуку.
- Jukebox: A Generative Model for Music (arXiv:2005.00341v1) · arXiv (OpenAI)
Пов’язано GPT-4o 2024посилається на цей запис
Породження звуку напряму, без проміжного тексту.
Пов’язано Moshi 2024посилається на цей запис
Породження звуку напряму нейронною мережею, вісім років потому.