Запис атласу: https://www.aitimeline.dev/uk/events/evt-0294/
Доступність · 15 лютого 2024 р.
Мільйон токенів контексту
Google оголосила Gemini 1.5 Pro з вікном контексту в мільйон токенів — годину відео, одинадцять годин аудіо або цілі кодові бази за один запит.
Чому це важливо
Обсяг, який модель тримає перед очима, зріс у десятки разів, і питання пошуку по документах перетворилося на питання прочитати їх усі.
Доти типове вікно становило кілька десятків тисяч токенів, і будь-яка робота з великим корпусом вимагала розбивати його та шукати потрібні шматки. Мільйон токенів робив цей крок непотрібним для більшості документів. У тестах на пошук факту, захованого в довгому тексті, модель знаходила його з високою надійністю по всій довжині вікна. Це змістило інженерну увагу з побудови пошукових конвеєрів на те, що робити з відповіддю.
Відомості про подію
- Дата події
- 15 лютого 2024 р.
- Дата на часовій осі
- Дата події
- Перевірка
- Джерела зібрано автоматично · 18 вересня 2026 р.
- Лінії
- ID
- evt-0294
Оголошення від 15 лютого 2024 року.
Пов’язані події
Раніше
- Розвиває Gemini 1.0 2023
Наступне покоління того самого сімейства, оголошене через два місяці.
- Пов’язано Transformer 2017
Квадратична вартість уваги була головною перешкодою для довгого контексту.
Пізніше
- Пов’язано Стисла пам'ять замість KV-кешу, що росте 2024посилається на цей запис
Через два місяці після того, як мільйон токенів контексту став доступним у продукті, Google опублікувала механізм, який робить таку довжину сталою за пам'яттю.
- Розвиває Gemini 2.0 Flash 2024посилається на цей запис
Наступне покоління того самого сімейства, через десять місяців.