Перейти к содержимому

RAG и знания

RAG (retrieval-augmented generation) — архитектура, в которой перед генерацией ответа система достаёт релевантный контекст из хранилища и подставляет его в запрос к модели. Это основной способ работать с актуальными и приватными данными, которых модель никогда не видела.

Ключевая мысль: RAG не «добавляет знания модели», он подменяет память модели на найденный текст. Если поиск не нашёл нужное, генерация будет уверенной и неверной — модель не отличает «нет данных» от «данных не было в промпте».

Первое решение в проекте — не «какую векторную базу взять», а «нужен ли retrieval вообще». Три случая, когда он не нужен:

  • Корпус маленький. Если весь материал — сотня страниц (порядка 200 тысяч токенов), дешевле и точнее положить его в контекст целиком, чем строить пайплайн. Anthropic прямо рекомендует этот вариант для небольших наборов, особенно с prompt caching.
  • Контекст уже структурирован. Файлы-контракты проекта (AGENTS.md, PRODUCT.md, DESIGN.md) читаются целиком: это retrieval без векторной базы и без промахов поиска.
  • Нужен точный поиск. Для кода, идентификаторов, артикулов и номеров документов grep, полнотекстовый индекс и поиск по символам точнее семантики. См. Понимание кодовой базы.
flowchart LR
    D["Документы"] --> P["Парсинг<br/>и чанкинг"]
    P --> E["Эмбеддинги"]
    E --> S[("Хранилище:<br/>векторы + индекс")]
    Q["Запрос"] --> R["Поиск<br/>кандидатов"]
    S --> R
    R --> RR["Reranking"]
    RR --> G["Генерация<br/>с цитатами"]

Две половины пайплайна живут в разном темпе. Индексация — редкая и дорогая операция: чанкинг, эмбеддинги, контекстуализация. Поиск — горячий путь: он выполняется на каждый запрос и определяет задержку. Ошибки индексации видны постоянно, ошибки поиска — только в метриках.

Строка «знания» в архитектуре агента — не обязательно векторная база. Механизмов три, и они решают разные задачи:

СпособЧто этоКогда выбиратьЧем платить
Vector DBХранилище эмбеддингов и поиск по смыслуКорпус большой и разнородный, искать надо «похожее», а не «точное»Промахи поиска не видны глазу, индекс нужно обновлять
RAGПодстановка найденных фрагментов в запрос модели: чанкинг, поиск, хранилищеДанные меняются потоком, отвечать нужно по первоисточникамКачество ответа упирается в чанкинг и retrieval, а не в модель
Курируемая база знанийВики на Markdown, которую ведёт человек вместе с агентом: одна страница — одна тема, оглавление, перекрёстные ссылки, журнал измененийДомен обозрим (десятки—сотни страниц), знания нужно синтезировать и держать непротиворечивыми, важна прослеживаемость до источникаПоддержка и дисциплина: устаревающие страницы, линт на противоречия и битые ссылки

Разница в том, где происходит синтез. RAG возвращает фрагменты, и модель собирает из них ответ заново на каждом запросе — противоречия между источниками всплывают снова и снова. Курируемая база хранит уже собранный и сверенный результат: противоречие обнаруживается один раз, при записи страницы, и правится в одном месте.

Практические ориентиры:

  • Начинать с базы знаний, если знаний немного и они стратегические: регламенты, архитектура проекта, договорённости команды.
  • Переходить на retrieval, когда источник — поток (логи, тикеты, переписка, документация вендора) и курировать его вручную невозможно.
  • Совмещать. Курируемая база хорошо работает как навигационный слой над большим корпусом: страница описывает предметную область и говорит, куда смотреть дальше, а детали достаёт RAG.

Каждая причина ниже — отдельная подтема раздела:

СимптомПричинаГде разобрано
Ответ уверенный и неверныйПоиск не нашёл нужное, модель достроилаПоиск и reranking
Находит «похожее», но не тоФрагмент потерял контекст при нарезкеЧанкинг
Ищет по смыслу, ошибается в номерах и кодеНет гибридного поиска по ключевым словамПоиск и reranking
Новые документы не находятсяИндекс не обновилсяEmbeddings и Vector DB
Непонятно, стало лучше или хужеНет набора вопросов и метрикОценка качества
Цитирует отменённое правилоУстаревший источник в индексеКурируемая база знаний
  • Умеет ли система сказать «в базе нет ответа». Без этого она будет достраивать факты.
  • Видно ли, откуда взят ответ. Ссылки на источники — не украшение, а способ разобрать ошибку.
  • Совпадает ли язык запроса и документов. Смешанные языки на одной эмбеддинг-модели дают просадку, которую легко принять за «модель тупит».
  • Есть ли лимит на объём контекста. Десять найденных чанков вместо трёх удорожают каждый запрос и часто ухудшают ответ.
  • Обновляется ли индекс. Устаревший RAG опаснее отсутствующего: он уверенно цитирует отменённые правила.