Поиск и reranking
Что происходит на горячем пути
Заголовок раздела «Что происходит на горячем пути»Поиск берёт запрос пользователя и возвращает фрагменты, которые попадут в промпт. Это самая нагруженная часть RAG: она выполняется на каждый запрос, определяет задержку и почти полностью решает, будет ответ верным или уверенно неверным.
Типичный пайплайн выглядит как воронка, а не как один вызов:
flowchart LR
Q["Запрос"] --> U["Понимание<br/>и переписывание"]
U --> H["Гибридный поиск:<br/>BM25 + векторы"]
H --> C["Кандидаты<br/>топ-100…150"]
C --> R["Reranker"]
R --> K["Топ-5…20<br/>в промпт"]
Разница между этапами — не украшение. Дешёвый поиск достаёт широкий набор кандидатов, дорогая модель переранжирования выбирает из них точные, и только верхушка идёт в контекст модели.
Лексический и плотный поиск
Заголовок раздела «Лексический и плотный поиск»| Подход | Что умеет | Где проваливается |
|---|---|---|
| BM25 / полнотекстовый | Точные слова, идентификаторы, артикулы, имена, редкие термины | Синонимы и перефразирование |
| Плотный (эмбеддинги) | Смысловое сходство: «права роли редактора» ≈ «ограничить доступ к админке» | Точные идентификаторы, числа, новые термины вне обучающих данных |
| Гибридный | Оба сигнала, объединённые по рангам (например, reciprocal rank fusion) | Сложнее настраивать и объяснять |
Практический вывод из замеров Anthropic и корпоративных внедрений один и тот же: гибрид стабильнее любого одиночного метода. Эмбеддинги дают смысл, BM25 — точность на уникальных токенах. Для сайта с артикулами, для базы знаний с аббревиатурами и для кода это не опция, а необходимость.
Переписывание запроса
Заголовок раздела «Переписывание запроса»Пользователь пишет коротко и неточно. Перед поиском запрос полезно преобразовать:
- Расширение синонимами — добавить профессиональные термины, которых нет в вопросе.
- Multi-query — сгенерировать 2–3 формулировки, найти по каждой и объединить результаты.
- Декомпозиция — разбить составной вопрос на подвопросы и искать отдельно.
- HyDE — сгенерировать гипотетический ответ и искать по нему: иногда работает лучше, чем по короткому вопросу.
- Разговорный контекст — «а сколько это стоит?» без предыдущей реплики не ищется; нужна подстановка темы из истории.
Переписывание добавляет вызов модели на каждый запрос. Оно оправдано, когда запросы короткие и разговорные, и не нужно, когда поиск идёт по точным сущностям из интерфейса.
Reranking
Заголовок раздела «Reranking»Reranker — модель, которая оценивает пару «запрос — фрагмент» целиком, а не сравнивает независимые векторы. Это дороже на порядок, поэтому её ставят на втором шаге, после дешёвого поиска.
Схема, которую приводит Anthropic: взять порядка 100–150 кандидатов дешёвым поиском, прогнать через reranker и оставить 5–20 лучших. В их замерах top-20 в промпте давал лучший результат, чем top-10 или top-5, — но это зависит от задачи и стоимости контекста.
Типовые варианты: Cohere Rerank, кросс-энкодеры на базе BGE и других открытых моделей, LLM в роли судьи для небольших наборов.
Фильтры, права и свежесть
Заголовок раздела «Фильтры, права и свежесть»Три вещи, которые нельзя «дочинить» после поиска:
- Права доступа. Фильтр по ACL должен применяться до поиска. Если сначала найти, а потом вырезать недоступное, система уже знает о существовании документа — и в ответе может остаться след.
- Область поиска. Версия продукта, язык, регион, тип документа — это фильтры, а не пожелания в промпте.
- Свежесть. У документов должна быть дата, а у поиска — правило, как с ней обращаться. Иначе отменённый регламент будет находиться с той же уверенностью, что и действующий.
Метрики
Заголовок раздела «Метрики»Качество поиска измеряется отдельно от качества ответа — это главное правило:
- Recall@k — попал ли правильный документ в первые k результатов. Основная метрика: если его нет в кандидатах, дальше помогать нечем.
- MRR / nDCG — насколько высоко правильный результат стоит в выдаче.
- Доля «нет ответа» — как часто система честно говорит, что данных нет, вместо того чтобы достраивать.
- Groundedness ответа — опирается ли сгенерированный текст на найденные фрагменты. Метрики и инструменты — в разделе Оценка качества.
Фреймворки и их характер
Заголовок раздела «Фреймворки и их характер»| Инструмент | Сильная сторона |
|---|---|
| LlamaIndex | Загрузка, парсинг и индексация документов |
| LangChain + LangGraph | Гибкость и агентные сценарии с состоянием |
| Haystack | Явные, прозрачные пайплайны со встроенной оценкой |
| RAGFlow, DSPy, LightRAG | Специализированные и более сложные схемы |
| GraphRAG-подходы | Связи между сущностями, а не только похожесть фрагментов |
Фреймворк определяет удобство сборки, но не качество. Качество определяется тем, что происходит до и после поиска.
Связанные материалы
Заголовок раздела «Связанные материалы»- Чанкинг — что именно ищет система.
- Покомпонентные evals — как измерить точность retrieval и попадание в top-k.
- Эмбеддинги и Vector DB — где хранятся векторы и как их искать.
- Курируемая база знаний — альтернатива, где навигацию делает структура, а не сходство.
- AI-поиск — та же механика, повёрнутая к человеку в интерфейсе.
Материалы и источники
Заголовок раздела «Материалы и источники»- Anthropic: Contextual Retrieval — гибридный поиск, reranking и сравнение top-k
- Cohere Rerank: документация — переранжирование как отдельный шаг
- Reciprocal Rank Fusion (Cormack et al., 2009) — способ объединять ранжирования
- RAGAS: метрики для RAG — оценка retrieval и обоснованности ответа