Увага для перекладу

Механізм уваги зважував частини вхідної послідовності.

Чому це важливо

Ця робота показала вузьке місце фіксованого вектора й додала м’яке вирівнювання за словами джерела.

Це результат для перекладу encoder-decoder, а не пізніша архітектура Transformer.

Відомості про подію

Дата події

1 вересня 2014 р.

Дата на часовій осі

Дата події

Перевірка

Джерела зібрано автоматично · 11 вересня 2026 р.

Лінії

Теорія навчання

ID

evt-0009

Йошуа Бенжіо

Джерела

першоджерело Neural Machine Translation
arXiv · Опубліковано 1 вересня 2014 р.
першоджерело Neural Machine Translation by Jointly Learning to Align and Translate (talk slides: D. Bahdanau, K. Cho, Y. Bengio), ICLR 2015
International Conference on Learning Representations 2015 (conference archive, iclr.cc) · Опубліковано травень 2015 р.

Пов’язані події

Раніше

Уможливлює Керований рекурентний блок (GRU) 2014посилається на цей запис
Стаття про увагу для перекладу (v1, вересень 2014) бере як функцію активації своєї рекурентної мережі «gated hidden unit, нещодавно запропонований Cho et al. (2014a)», з вентилями скидання й оновлення.
- Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation · arXiv
- Neural Machine Translation · arXiv

Пізніше

Пов’язано Sequence-to-sequence 2014посилається на цей запис
Дві роботи одного місяця про нейромережевий переклад послідовностей.
Пов’язано Deep Speech 2014посилається на цей запис
Наскрізне навчання послідовності в послідовність узято з машинного перекладу.
Спирається на GNMT: нейронний переклад у Google Translate 2016посилається на цей запис
Декодер GNMT звертається до кодера через механізм уваги, з посиланням на Bahdanau, Cho, Bengio.
- Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation (arXiv:1609.08144v1) · arXiv (Google)
Спирається на Tacotron: мовлення прямо з літер 2017посилається на цей запис
Основа Tacotron — модель seq2seq з увагою за Багдановим і співавторами: символи тексту перекладаються в кадри спектрограми.
- Tacotron: A Fully End-to-End Text-to-Speech Synthesis Model (arXiv:1703.10135v1) · arXiv (Google)
Спирається на Transformer 2017посилається на цей запис
Transformer розвиває увагу як спосіб вибору важливих частин послідовності, відмовляючись від рекурентної обробки. Стаття цитує роботу Bahdanau та співавторів.
- Attention Is All You Need · arXiv