Пошук усередині ланцюжка міркування
9 січня 2025 року Женьміньський університет Китаю й Цінхуа показали Search-o1: модель, яка міркує, сама зупиняється на місці невпевненості, шукає в зовнішньому джерелі й повертається до міркування. Перед цим автори виміряли, наскільки часто вона взагалі вагається.
Чому це важливо
Доти пошук приставляли перед міркуванням: спочатку дістати документи, потім думати. Тут пошук стався всередині — модель звертається по знання в ту мить, коли їх бракує, а не наперед, і це змінює те, звідки береться помилка в довгому ланцюжку.
Спершу вимір, з якого все виросло. На наборі GPQA diamond автори порахували, як часто QwQ-32B-Preview вживає слова невпевненості у власному міркуванні: саме слово «perhaps» трапляється в середньому понад 30 разів на один ланцюжок. Це число стосується одного слова й однієї моделі, а не невпевненості взагалі. Другий складник — модуль Reason-in-Documents. Знайдені документи багатослівні, і вставити їх у ланцюжок означає його зламати, тож окремий модуль спершу стискає документ під поточний запит і лише тоді віддає його в міркування. Перевірено на складних задачах трьох родів — природничі науки, математика й програмування — і на шести відкритих наборах для запитань і відповідей. Чого запис не стверджує. Три роди задач — це не п'ять доменів; стаття називає саме науку, математику й код. Приросту в одному числі, яке можна поставити в резюме, стаття не дає: вона порівнює з прямим міркуванням і зі звичайним RAG на кожному наборі окремо.