Дослідження · 29 березня 2017 р.

Tacotron: мовлення прямо з літер

29 березня 2017 року Юйсюань Ван і співавтори з Google описали Tacotron — модель, яка синтезує мовлення безпосередньо з символів тексту й навчається з нуля на парах «текст — звук». Середня оцінка природності — 3,82 з 5 проти 3,69 у серійної параметричної системи.

Чому це важливо

Синтез мовлення, що складався з фронтенду аналізу тексту, акустичної моделі й вокодера, звівся до однієї мережі, яку можна навчити без знання фонетики. Це відкрило шлях до нейронних голосів, навчених на самих записах.

Навчання — близько 24,6 години внутрішнього запису північноамериканської англійської; хвилю відновлює алгоритм Гріффіна — Ліма. Конкатенативна система в тому самому тесті мала 4,09, тобто Tacotron її не наздогнав. Генерація по кадрах робить модель значно швидшою за методи, що генерують по відліку.

Відомості про подію

Дата події

29 березня 2017 р.

Дата на часовій лінії

Дата події

Перевірка

Джерела зібрано автоматично · 25 вересня 2026 р.

Лінії

ID

evt-0772

День подання першої версії препринта; числа прочитано в ній. Друга версія 6 квітня 2017 року змінила назву на «Tacotron: Towards End-to-End Speech Synthesis».

Джерела

першоджерело Tacotron: A Fully End-to-End Text-to-Speech Synthesis Model (arXiv:1703.10135v1)
arXiv (Google) · Опубліковано 29 березня 2017 р.

Пов’язані події

Спирається на Увага для перекладу
Основа Tacotron — модель seq2seq з увагою за Багдановим і співавторами: символи тексту перекладаються в кадри спектрограми.
Tacotron: A Fully End-to-End Text-to-Speech Synthesis Model (arXiv:1703.10135v1)
Протиставляє WaveNet
Автори протиставляють себе WaveNet: той повільний через генерацію по відліку й не наскрізний, бо потребує лінгвістичних ознак від окремого фронтенду; Tacotron генерує по кадру й вчиться з пар «текст — звук».
Tacotron: A Fully End-to-End Text-to-Speech Synthesis Model (arXiv:1703.10135v1)

Записи, що посилаються на цей

Протиставляє VALL-E: чужий голос із трьох секунд
Tacotron і його наступники регресують неперервну спектрограму; VALL-E натомість ставить синтез як мовне моделювання дискретних кодів звукового кодека.
Neural Codec Language Models are Zero-Shot Text to Speech Synthesizers (arXiv:2301.02111v1)
Пов’язано Вибір одиниць: голос зі шматків запису
Tacotron порівнюється з системою вибору одиниць у продакшні Google: 4,09 бала проти 3,82 у самого Tacotron. Статті Ганта — Блека він не цитує.
Tacotron: A Fully End-to-End Text-to-Speech Synthesis Model (arXiv:1703.10135v1)
Пов’язано Голос зі статистичної моделі: HTS
Tacotron порівнює себе з параметричною системою в продакшні Google: 3,82 бала проти 3,69.
Tacotron: A Fully End-to-End Text-to-Speech Synthesis Model (arXiv:1703.10135v1)