Перейти к содержимому

Поиск и reranking

Поиск берёт запрос пользователя и возвращает фрагменты, которые попадут в промпт. Это самая нагруженная часть RAG: она выполняется на каждый запрос, определяет задержку и почти полностью решает, будет ответ верным или уверенно неверным.

Типичный пайплайн выглядит как воронка, а не как один вызов:

flowchart LR
    Q["Запрос"] --> U["Понимание<br/>и переписывание"]
    U --> H["Гибридный поиск:<br/>BM25 + векторы"]
    H --> C["Кандидаты<br/>топ-100…150"]
    C --> R["Reranker"]
    R --> K["Топ-5…20<br/>в промпт"]

Разница между этапами — не украшение. Дешёвый поиск достаёт широкий набор кандидатов, дорогая модель переранжирования выбирает из них точные, и только верхушка идёт в контекст модели.

ПодходЧто умеетГде проваливается
BM25 / полнотекстовыйТочные слова, идентификаторы, артикулы, имена, редкие терминыСинонимы и перефразирование
Плотный (эмбеддинги)Смысловое сходство: «права роли редактора» ≈ «ограничить доступ к админке»Точные идентификаторы, числа, новые термины вне обучающих данных
ГибридныйОба сигнала, объединённые по рангам (например, reciprocal rank fusion)Сложнее настраивать и объяснять

Практический вывод из замеров Anthropic и корпоративных внедрений один и тот же: гибрид стабильнее любого одиночного метода. Эмбеддинги дают смысл, BM25 — точность на уникальных токенах. Для сайта с артикулами, для базы знаний с аббревиатурами и для кода это не опция, а необходимость.

Пользователь пишет коротко и неточно. Перед поиском запрос полезно преобразовать:

  • Расширение синонимами — добавить профессиональные термины, которых нет в вопросе.
  • Multi-query — сгенерировать 2–3 формулировки, найти по каждой и объединить результаты.
  • Декомпозиция — разбить составной вопрос на подвопросы и искать отдельно.
  • HyDE — сгенерировать гипотетический ответ и искать по нему: иногда работает лучше, чем по короткому вопросу.
  • Разговорный контекст — «а сколько это стоит?» без предыдущей реплики не ищется; нужна подстановка темы из истории.

Переписывание добавляет вызов модели на каждый запрос. Оно оправдано, когда запросы короткие и разговорные, и не нужно, когда поиск идёт по точным сущностям из интерфейса.

Reranker — модель, которая оценивает пару «запрос — фрагмент» целиком, а не сравнивает независимые векторы. Это дороже на порядок, поэтому её ставят на втором шаге, после дешёвого поиска.

Схема, которую приводит Anthropic: взять порядка 100–150 кандидатов дешёвым поиском, прогнать через reranker и оставить 5–20 лучших. В их замерах top-20 в промпте давал лучший результат, чем top-10 или top-5, — но это зависит от задачи и стоимости контекста.

Типовые варианты: Cohere Rerank, кросс-энкодеры на базе BGE и других открытых моделей, LLM в роли судьи для небольших наборов.

Три вещи, которые нельзя «дочинить» после поиска:

  1. Права доступа. Фильтр по ACL должен применяться до поиска. Если сначала найти, а потом вырезать недоступное, система уже знает о существовании документа — и в ответе может остаться след.
  2. Область поиска. Версия продукта, язык, регион, тип документа — это фильтры, а не пожелания в промпте.
  3. Свежесть. У документов должна быть дата, а у поиска — правило, как с ней обращаться. Иначе отменённый регламент будет находиться с той же уверенностью, что и действующий.

Качество поиска измеряется отдельно от качества ответа — это главное правило:

  • Recall@k — попал ли правильный документ в первые k результатов. Основная метрика: если его нет в кандидатах, дальше помогать нечем.
  • MRR / nDCG — насколько высоко правильный результат стоит в выдаче.
  • Доля «нет ответа» — как часто система честно говорит, что данных нет, вместо того чтобы достраивать.
  • Groundedness ответа — опирается ли сгенерированный текст на найденные фрагменты. Метрики и инструменты — в разделе Оценка качества.
ИнструментСильная сторона
LlamaIndexЗагрузка, парсинг и индексация документов
LangChain + LangGraphГибкость и агентные сценарии с состоянием
HaystackЯвные, прозрачные пайплайны со встроенной оценкой
RAGFlow, DSPy, LightRAGСпециализированные и более сложные схемы
GraphRAG-подходыСвязи между сущностями, а не только похожесть фрагментов

Фреймворк определяет удобство сборки, но не качество. Качество определяется тем, что происходит до и после поиска.