Перейти к содержимому

Evals: измерение качества

Eval — это воспроизводимая проверка качества. Без неё изменение промпта, модели или инструмента нельзя оценить: результат каждый раз разный, а «стало лучше» — впечатление.

Не «качество агента» целиком, а слои:

Слой Вопрос Пример метрики
Извлечение Правильные ли данные достали Доля полей, совпавших с эталоном
Выбор инструмента Тот ли инструмент вызван Точность выбора
Аргументы Верные ли параметры Доля корректных аргументов
Результат Решена ли задача Доля успешных прогонов
Стоимость Сколько стоил прогон Токены и шаги на задачу
Задержка Как быстро ответил p95 времени

Последние два — обязательная часть eval, а не отдельная тема: решение, которое стало чуть точнее и втрое дороже, часто не стоит внедрения.

Eval строится на наборе задач, а не на одном примере. Требования к набору:

  • Реальные входы, включая неудобные: пустые, длинные, с опечатками.
  • Эталонные ответы там, где они однозначны.
  • Критерии приёмки для случаев без эталона.
  • Разбиение на простые, пограничные и заведомо невыполнимые.
  • Версия набора — иначе сравнение между релизами бессмысленно.

Полезная практика: каждая ошибка из продакшена становится новым тестом. Это самый дешёвый способ наращивать покрытие.

Когда эталона нет (текст, анализ, план), ответ оценивает модель-судья. Приёмы:

  • Явная рубрика. Баллы за конкретные критерии, а не «оцени от 1 до 10».
  • Порядок и слепота. Судья не должен знать, какой вариант «новый».
  • Проверка согласия. Судья сверяется с оценками людей на подвыборке.
  • Разные модели. Судья той же модели, что и агент, склонен одобрять свой стиль.

Судья — инструмент, а не истина: его оценка сама требует валидации.

Eval запускается на каждое изменение и сравнивается с базовой линией:

  • общая метрика не упала;
  • ни один критичный тест не перешёл из «проходит» в «падает»;
  • стоимость и задержка не выросли выше порога.

Разрешать ухудшение можно, но осознанно: с записью, почему это приемлемо.

  • Редкие катастрофы. Набор из ста примеров не поймает инцидент раз в тысячу запусков.
  • Дрейф данных. Реальные входы меняются, набор — нет.
  • Пользовательскую ценность. Метрика совпадения с эталоном не равна пользе.

Поэтому eval дополняется наблюдением за продакшеном, а не заменяет его.

  1. 20–30 реальных входов с эталонными ответами.
  2. Скрипт прогона, сохраняющий результат и стоимость.
  3. Сравнение с предыдущим прогоном.
  4. Запуск в CI на изменения промпта и конфигурации модели.

Этого достаточно, чтобы перестать угадывать.

  • WPCraft KB: evals — прикладной разбор измерения AI-систем.