﻿---
title: Поиск и reranking
description: "Как из запроса получается контекст: BM25, плотный и гибридный поиск, переписывание запроса, переранжирование кандидатов и метрики, по которым видно качество retrieval."
---

## Что происходит на горячем пути

Поиск берёт запрос пользователя и возвращает фрагменты, которые попадут в промпт. Это самая нагруженная часть RAG: она выполняется на каждый запрос, определяет задержку и почти полностью решает, будет ответ верным или уверенно неверным.

Типичный пайплайн выглядит как воронка, а не как один вызов:

```mermaid
flowchart LR
    Q["Запрос"] --> U["Понимание<br/>и переписывание"]
    U --> H["Гибридный поиск:<br/>BM25 + векторы"]
    H --> C["Кандидаты<br/>топ-100…150"]
    C --> R["Reranker"]
    R --> K["Топ-5…20<br/>в промпт"]
```

Разница между этапами — не украшение. Дешёвый поиск достаёт широкий набор кандидатов, дорогая модель переранжирования выбирает из них точные, и только верхушка идёт в контекст модели.

## Лексический и плотный поиск

| Подход | Что умеет | Где проваливается |
|---|---|---|
| **BM25 / полнотекстовый** | Точные слова, идентификаторы, артикулы, имена, редкие термины | Синонимы и перефразирование |
| **Плотный (эмбеддинги)** | Смысловое сходство: «права роли редактора» ≈ «ограничить доступ к админке» | Точные идентификаторы, числа, новые термины вне обучающих данных |
| **Гибридный** | Оба сигнала, объединённые по рангам (например, reciprocal rank fusion) | Сложнее настраивать и объяснять |

Практический вывод из замеров Anthropic и корпоративных внедрений один и тот же: **гибрид стабильнее любого одиночного метода**. Эмбеддинги дают смысл, BM25 — точность на уникальных токенах. Для сайта с артикулами, для базы знаний с аббревиатурами и для кода это не опция, а необходимость.

## Переписывание запроса

Пользователь пишет коротко и неточно. Перед поиском запрос полезно преобразовать:

- **Расширение синонимами** — добавить профессиональные термины, которых нет в вопросе.
- **Multi-query** — сгенерировать 2–3 формулировки, найти по каждой и объединить результаты.
- **Декомпозиция** — разбить составной вопрос на подвопросы и искать отдельно.
- **HyDE** — сгенерировать гипотетический ответ и искать по нему: иногда работает лучше, чем по короткому вопросу.
- **Разговорный контекст** — «а сколько это стоит?» без предыдущей реплики не ищется; нужна подстановка темы из истории.

Переписывание добавляет вызов модели на каждый запрос. Оно оправдано, когда запросы короткие и разговорные, и не нужно, когда поиск идёт по точным сущностям из интерфейса.

## Reranking

Reranker — модель, которая оценивает пару «запрос — фрагмент» целиком, а не сравнивает независимые векторы. Это дороже на порядок, поэтому её ставят на втором шаге, после дешёвого поиска.

Схема, которую приводит Anthropic: взять порядка 100–150 кандидатов дешёвым поиском, прогнать через reranker и оставить 5–20 лучших. В их замерах top-20 в промпте давал лучший результат, чем top-10 или top-5, — но это зависит от задачи и стоимости контекста.

Типовые варианты: Cohere Rerank, кросс-энкодеры на базе BGE и других открытых моделей, LLM в роли судьи для небольших наборов.

## Фильтры, права и свежесть

Три вещи, которые нельзя «дочинить» после поиска:

1. **Права доступа.** Фильтр по ACL должен применяться **до** поиска. Если сначала найти, а потом вырезать недоступное, система уже знает о существовании документа — и в ответе может остаться след.
2. **Область поиска.** Версия продукта, язык, регион, тип документа — это фильтры, а не пожелания в промпте.
3. **Свежесть.** У документов должна быть дата, а у поиска — правило, как с ней обращаться. Иначе отменённый регламент будет находиться с той же уверенностью, что и действующий.

## Метрики

Качество поиска измеряется отдельно от качества ответа — это главное правило:

- **Recall@k** — попал ли правильный документ в первые k результатов. Основная метрика: если его нет в кандидатах, дальше помогать нечем.
- **MRR / nDCG** — насколько высоко правильный результат стоит в выдаче.
- **Доля «нет ответа»** — как часто система честно говорит, что данных нет, вместо того чтобы достраивать.
- **Groundedness ответа** — опирается ли сгенерированный текст на найденные фрагменты. Метрики и инструменты — в разделе [Оценка качества](https://wpcraft.ru/kb/ai/agents/evaluation.md).

## Фреймворки и их характер

| Инструмент | Сильная сторона |
|---|---|
| **LlamaIndex** | Загрузка, парсинг и индексация документов |
| **LangChain + LangGraph** | Гибкость и агентные сценарии с состоянием |
| **Haystack** | Явные, прозрачные пайплайны со встроенной оценкой |
| **RAGFlow, DSPy, LightRAG** | Специализированные и более сложные схемы |
| **GraphRAG-подходы** | Связи между сущностями, а не только похожесть фрагментов |

Фреймворк определяет удобство сборки, но не качество. Качество определяется тем, что происходит до и после поиска.

## Связанные материалы

- [Чанкинг](https://wpcraft.ru/kb/ai/rag/chunking.md) — что именно ищет система.
- [Покомпонентные evals](https://wpcraft.ru/kb/ai/evals/component-evals.md) — как измерить точность retrieval и попадание в top-k.
- [Эмбеддинги и Vector DB](https://wpcraft.ru/kb/ai/rag/embeddings-and-vector-db.md) — где хранятся векторы и как их искать.
- [Курируемая база знаний](https://wpcraft.ru/kb/ai/rag/knowledge-bases.md) — альтернатива, где навигацию делает структура, а не сходство.
- [AI-поиск](https://wpcraft.ru/kb/ai/search.md) — та же механика, повёрнутая к человеку в интерфейсе.

## Материалы и источники

- [Anthropic: Contextual Retrieval](https://www.anthropic.com/research/contextual-retrieval) — гибридный поиск, reranking и сравнение top-k
- [Cohere Rerank: документация](https://docs.cohere.com/docs/rerank-overview) — переранжирование как отдельный шаг
- [Reciprocal Rank Fusion (Cormack et al., 2009)](https://plg.uwaterloo.ca/~gvcormac/cormacksigir09-rrf.pdf) — способ объединять ранжирования
- [RAGAS: метрики для RAG](https://docs.ragas.io/) — оценка retrieval и обоснованности ответа