Перейти к содержимому

Наблюдаемость: трассировка и стоимость

Наблюдаемость показывает, что происходило внутри системы: какие запросы ушли в модель, что нашёл поиск, какие инструменты вызваны, сколько это стоило и где выросла задержка. Без неё агент — чёрный ящик, а инцидент разбирается по догадкам.

Для агентных систем это важнее, чем для обычного сервиса: один пользовательский запрос — это цепочка из десятка вызовов, и ошибка почти всегда в середине цепочки, а не в финальном тексте.

Трассировка (trace) объединяет один запуск. Отдельные операции внутри него записываются как spans: запрос пользователя → вызов модели → поиск → вызов инструмента → ответ.

Из такой структуры видно:

  • Почему ответ неверный — какие документы извлекли и что передали модели.
  • Что замедлило работу — на каком шаге выросла задержка.
  • Где выросли затраты — какой шаг съел токены.
  • Где упало — какой вызов вернул ошибку и как её обработали.

OpenTelemetry помогает передавать такие данные в совместимые системы, но способ подключения зависит от платформы: SDK, автоинструментация или AI-шлюз.

ПлатформаОсобенность
LangfuseSDK или OpenTelemetry-инструментация, иерархическая трассировка, входы и выходы шагов, токены, стоимость, задержки
Arize PhoenixOpen-source, приём трассировок по OpenTelemetry/OTLP, OpenInference-инструментация LLM-вызовов, retrieval и инструментов
LangSmithИнтеграции с фреймворками и SDK, связывание вызовов в трассировки агента; неудачные запуски переносятся в датасеты
HeliconeAI Gateway: вызовы моделей идут через шлюз и автоматически логируются — прежде всего слой обращений к моделям

Практическая разница: шлюз даёт быстрый старт и минимальную видимость обращений к модели, но полную картину retrieval, инструментов и бизнес-логики нужно инструментировать отдельно.

  • Модель и версия на каждом шаге — иначе сравнение «до и после» невозможно.
  • Промпт и ответ с маскированием секретов и персональных данных.
  • Результат retrieval — идентификаторы найденных документов, score, применённые фильтры.
  • Вызовы инструментов — имя, аргументы, результат, длительность.
  • Стоимость и токены по шагам, а не по запросу целиком.

Маскирование — не опциональная настройка: в трассировку не должны попадать ключи, пароли, персональные данные клиентов.

Наблюдаемость и оценка качества работают в паре:

production-трасса с ошибкой → разбор → добавление в датасет → регрессионная проверка

Без трассировки набор для оценки пополняется вручную и быстро устаревает. С ней каждый инцидент превращается в тест, а качество растёт от реального использования.

  • Виден ли один запрос целиком. Если шаги живут в разных системах без общего идентификатора, разбор невозможен.
  • Есть ли стоимость по шагам. Общая сумма за месяц не отвечает на вопрос, какой сценарий убыточен.
  • Маскируются ли данные. Проверьте это до первого инцидента, а не после.
  • Настроено ли оповещение. Рост доли ошибок и задержек должен поднимать сигнал, а не ждать, пока его заметит пользователь.
  • Хватает ли срока хранения. Разбор сложного инцидента занимает дни; срок хранения трасс должен это покрывать.
  • Evals — слои проверок и покомпонентные evals, в которые превращаются трассы.
  • Распределённая трассировка — общая модель traces, spans и propagation.
  • OpenTelemetry — переносимая инструментация и конвейер телеметрии.