Мільйон токенів контексту
Google оголосила Gemini 1.5 Pro з вікном контексту в мільйон токенів — годину відео, одинадцять годин аудіо або цілі кодові бази за один запит.
Чому це важливо
Обсяг, який модель тримає перед очима, зріс у десятки разів, і питання пошуку по документах перетворилося на питання прочитати їх усі.
Доти типове вікно становило кілька десятків тисяч токенів, і будь-яка робота з великим корпусом вимагала розбивати його та шукати потрібні шматки. Мільйон токенів робив цей крок непотрібним для більшості документів. У тестах на пошук факту, захованого в довгому тексті, модель знаходила його з високою надійністю по всій довжині вікна. Це змістило інженерну увагу з побудови пошукових конвеєрів на те, що робити з відповіддю.