Дослідження · 1 вересня 2014 р.
Механізм уваги зважував частини вхідної послідовності.
Ця робота показала вузьке місце фіксованого вектора й додала м’яке вирівнювання за словами джерела.
Це результат для перекладу encoder-decoder, а не пізніша архітектура Transformer.
arXiv · Опубліковано 1 вересня 2014 р.
Дві роботи одного місяця про нейромережевий переклад послідовностей.
Transformer розвиває увагу як спосіб вибору важливих частин послідовності, відмовляючись від рекурентної обробки. Стаття цитує роботу Bahdanau та співавторів.
Attention Is All You NeedНаскрізне навчання послідовності в послідовність узято з машинного перекладу.
Стаття про увагу для перекладу (v1, вересень 2014) бере як функцію активації своєї рекурентної мережі «gated hidden unit, нещодавно запропонований Cho et al. (2014a)», з вентилями скидання й оновлення.
Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine TranslationNeural Machine TranslationДекодер GNMT звертається до кодера через механізм уваги, з посиланням на Bahdanau, Cho, Bengio.
Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation (arXiv:1609.08144v1)Основа Tacotron — модель seq2seq з увагою за Багдановим і співавторами: символи тексту перекладаються в кадри спектрограми.
Tacotron: A Fully End-to-End Text-to-Speech Synthesis Model (arXiv:1703.10135v1)