Вибір одиниць: голос зі шматків запису
На ICASSP-96 в Атланті (7–10 травня 1996 року) Ендрю Гант і Алан Блек з лабораторій ATR у Кіото описали, як синтезатор CHATR складає мовлення з фонем, вирізаних із великої бази записів одного диктора. Кожну фонему обирає пошук Вітербі за двома вартостями: наскільки одиниця схожа на ціль і наскільки гладко вона з'єднується з сусідньою.
Чому це важливо
Синтез мовлення став пошуком у записаних даних: що більша база, то природніший голос, а ваги вартостей навчаються на природному мовленні замість ручного налаштування. Цей підхід тримав найвищу якість синтезу до нейронних моделей; WaveNet 2016 року називає цю статтю серед основ конкатенативного синтезу, з яким себе порівнює.
Одиниці — фонеми. Бази CHATR — від 10 до 150 хвилин мовлення, японською й англійською, чоловічими й жіночими голосами. Цільова вартість складається з 20–30 підвартостей (висота, тривалість, потужність, фонетичний контекст), вартість з'єднання — з трьох: кепстральна відстань, різниця логарифма потужності й висоти в точці стику; сусідні в записі одиниці з'єднуються безкоштовно, тож пошук сам тяжіє до довших шматків. З променем 10–20 одиниць пошук іде майже в реальному часі на базі близько 100 000 одиниць (Sun SPARCStation 20). Ваги навчено двома способами: перебором у просторі ваг (понад 150 годин обчислень на базі 40 000 одиниць, близько години мовлення) і лінійною регресією (від 1 до 10 годин). Обидва дали мовлення, стабільно краще за ручні ваги; регресія — лише трохи краще за перебір. Чого запис не стверджує: стаття не наводить жодного числа слухових тестів. Tacotron (2017) порівнюється з пізнішою системою вибору одиниць Google, керованою HMM, а не з CHATR.