Evals: измерение качества
Eval — это воспроизводимая проверка качества. Без неё изменение промпта, модели или инструмента нельзя оценить: результат каждый раз разный, а «стало лучше» — впечатление.
Что измерять
Заголовок раздела «Что измерять»Не «качество агента» целиком, а слои:
| Слой | Вопрос | Пример метрики |
|---|---|---|
| Извлечение | Правильные ли данные достали | Доля полей, совпавших с эталоном |
| Выбор инструмента | Тот ли инструмент вызван | Точность выбора |
| Аргументы | Верные ли параметры | Доля корректных аргументов |
| Результат | Решена ли задача | Доля успешных прогонов |
| Стоимость | Сколько стоил прогон | Токены и шаги на задачу |
| Задержка | Как быстро ответил | p95 времени |
Последние два — обязательная часть eval, а не отдельная тема: решение, которое стало чуть точнее и втрое дороже, часто не стоит внедрения.
Набор данных
Заголовок раздела «Набор данных»Eval строится на наборе задач, а не на одном примере. Требования к набору:
- Реальные входы, включая неудобные: пустые, длинные, с опечатками.
- Эталонные ответы там, где они однозначны.
- Критерии приёмки для случаев без эталона.
- Разбиение на простые, пограничные и заведомо невыполнимые.
- Версия набора — иначе сравнение между релизами бессмысленно.
Полезная практика: каждая ошибка из продакшена становится новым тестом. Это самый дешёвый способ наращивать покрытие.
Когда эталона нет (текст, анализ, план), ответ оценивает модель-судья. Приёмы:
- Явная рубрика. Баллы за конкретные критерии, а не «оцени от 1 до 10».
- Порядок и слепота. Судья не должен знать, какой вариант «новый».
- Проверка согласия. Судья сверяется с оценками людей на подвыборке.
- Разные модели. Судья той же модели, что и агент, склонен одобрять свой стиль.
Судья — инструмент, а не истина: его оценка сама требует валидации.
Регрессии
Заголовок раздела «Регрессии»Eval запускается на каждое изменение и сравнивается с базовой линией:
- общая метрика не упала;
- ни один критичный тест не перешёл из «проходит» в «падает»;
- стоимость и задержка не выросли выше порога.
Разрешать ухудшение можно, но осознанно: с записью, почему это приемлемо.
Чего eval не показывает
Заголовок раздела «Чего eval не показывает»- Редкие катастрофы. Набор из ста примеров не поймает инцидент раз в тысячу запусков.
- Дрейф данных. Реальные входы меняются, набор — нет.
- Пользовательскую ценность. Метрика совпадения с эталоном не равна пользе.
Поэтому eval дополняется наблюдением за продакшеном, а не заменяет его.
Минимальный старт
Заголовок раздела «Минимальный старт»- 20–30 реальных входов с эталонными ответами.
- Скрипт прогона, сохраняющий результат и стоимость.
- Сравнение с предыдущим прогоном.
- Запуск в CI на изменения промпта и конфигурации модели.
Этого достаточно, чтобы перестать угадывать.
Материалы и источники
Заголовок раздела «Материалы и источники»- WPCraft KB: evals — прикладной разбор измерения AI-систем.