GNMT: нейронний переклад у Google Translate
26 вересня 2016 року Google виклав GNMT — нейронну систему перекладу з вісьмома шарами LSTM у кодері й вісьмома в декодері, а 27 вересня перевів на неї 100 % перекладів з китайської на англійську в Google Translate, близько 18 мільйонів на день. У людському оцінюванні вона зменшила помилки проти фразової статистичної системи в середньому на 60 %.
Чому це важливо
Нейронний переклад, який доти був здебільшого дослідницьким, запрацював у продукті з мільйонами користувачів і замінив для китайсько-англійської пари фразову статистичну систему, з якою Google Translate, за дописом, запустили десять років тому. Для цього знадобилися підслова (wordpieces), квантування й TPU.
У першій версії препринта: WMT'14 англійська→французька — 38,95 BLEU для однієї моделі; 36 мільйонів пар речень; базову модель навчали близько 6 днів на 96 GPU NVIDIA K80; декодування на TPU у 3,4 раза швидше, ніж на CPU. Таблиця 10: на шести парах по 500 речень з Вікіпедії й новин, шкала 0–6, відносне поліпшення від 58 до 87 %. Допис того самого дня дає «55%–85%» — числа двох документів Google розходяться. Англо-німецького результату запис не наводить: у першій версії він суперечливий (24,17 у вступі й у таблиці для WPM-32K, 24,61 у тексті). Автори зазначають, що оцінено ізольовані прості речення.