Tacotron: мовлення прямо з літер

29 березня 2017 року Юйсюань Ван і співавтори з Google описали Tacotron — модель, яка синтезує мовлення безпосередньо з символів тексту й навчається з нуля на парах «текст — звук». Середня оцінка природності — 3,82 з 5 проти 3,69 у серійної параметричної системи.

Чому це важливо

Синтез мовлення, що складався з фронтенду аналізу тексту, акустичної моделі й вокодера, звівся до однієї мережі, яку можна навчити без знання фонетики. Це відкрило шлях до нейронних голосів, навчених на самих записах.

Навчання — близько 24,6 години внутрішнього запису північноамериканської англійської; хвилю відновлює алгоритм Гріффіна — Ліма. Конкатенативна система в тому самому тесті мала 4,09, тобто Tacotron її не наздогнав. Генерація по кадрах робить модель значно швидшою за методи, що генерують по відліку.

Відомості про подію

Дата події

29 березня 2017 р.

Дата на часовій осі

Дата події

Перевірка

Джерела зібрано автоматично · 25 вересня 2026 р.

Лінії

ID

evt-0772

День подання першої версії препринта; числа прочитано в ній. Друга версія 6 квітня 2017 року змінила назву на «Tacotron: Towards End-to-End Speech Synthesis».

Джерела

першоджерело Tacotron: A Fully End-to-End Text-to-Speech Synthesis Model (arXiv:1703.10135v1)
arXiv (Google) · Опубліковано 29 березня 2017 р.
першоджерело Tacotron: Towards End-to-End Speech Synthesis
ISCA Archive (Interspeech 2017) · Опубліковано 2017

Пов’язані події

Раніше

Протиставляє WaveNet 2016
Автори протиставляють себе WaveNet: той повільний через генерацію по відліку й не наскрізний, бо потребує лінгвістичних ознак від окремого фронтенду; Tacotron генерує по кадру й вчиться з пар «текст — звук».
- Tacotron: A Fully End-to-End Text-to-Speech Synthesis Model (arXiv:1703.10135v1) · arXiv (Google)
Спирається на Увага для перекладу 2014
Основа Tacotron — модель seq2seq з увагою за Багдановим і співавторами: символи тексту перекладаються в кадри спектрограми.
- Tacotron: A Fully End-to-End Text-to-Speech Synthesis Model (arXiv:1703.10135v1) · arXiv (Google)
Пов’язано Голос зі статистичної моделі: HTS 1999посилається на цей запис
Tacotron порівнює себе з параметричною системою в продакшні Google: 3,82 бала проти 3,69.
- Tacotron: A Fully End-to-End Text-to-Speech Synthesis Model (arXiv:1703.10135v1) · arXiv (Google)
Пов’язано Вибір одиниць: голос зі шматків запису 1996посилається на цей запис
Tacotron порівнюється з системою вибору одиниць у продакшні Google: 4,09 бала проти 3,82 у самого Tacotron. Статті Ганта — Блека він не цитує.
- Tacotron: A Fully End-to-End Text-to-Speech Synthesis Model (arXiv:1703.10135v1) · arXiv (Google)

Пізніше

Протиставляє VALL-E: чужий голос із трьох секунд 2023посилається на цей запис
Tacotron і його наступники регресують неперервну спектрограму; VALL-E натомість ставить синтез як мовне моделювання дискретних кодів звукового кодека.
- Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers (arXiv:2301.02111v1) · arXiv (Microsoft)