Генерація з доповненням пошуком (RAG)
22 травня 2020 року Патрік Льюїс і одинадцять співавторів з Facebook AI Research, University College London і Нью-Йоркського університету виклали RAG: попередньо навчений генератор (BART-large, 400 млн параметрів) разом зі щільним векторним індексом Вікіпедії — дампом грудня 2018 року, поділеним на 21 015 324 уривки по 100 слів; пошуковик і генератор донавчаються разом. RAG-Sequence дав 44,5 точного збігу на Natural Questions, 56,1 на TriviaQA, 45,2 на WebQuestions і 52,2 на CuratedTrec; стаття заявляє новий найкращий результат на всіх чотирьох, для TriviaQA — лише на поділі, порівнянному з T5, бо на звичайному DPR має 57,9.
Чому це важливо
Генератор зміг спиратися на документи, знайдені в зовнішньому індексі, а не лише на те, що зберігають його параметри, і писати вільний текст, а не вирізати відповідь з уривка. Резюме називає відкритими проблемами, які це розв'язує, походження відповіді й оновлення знань. Search-o1 2025 року посилається на цю статтю як на джерело генерації з пошуком.
RAG-Sequence використовує один знайдений документ для всієї відповіді, RAG-Token може брати інший документ для кожного токена; обидва трактують документ як приховану змінну. Таблиця 1 першої версії: T5-11B без пошуку — 34,5 на Natural Questions, REALM — 40,4, DPR — 41,5, RAG-Token — 44,1, RAG-Sequence — 44,5. Для TriviaQA перша версія дає 56,1 на звичайному тестовому поділі й 68,0 на прихованому поділі Wiki. Число 56,8 для TriviaQA, яке трапляється в переказах, належить четвертій версії (квітень 2021) і не є числом цього запису.