﻿---
title: "Evals: измерение качества"
description: "Наборы проверок, метрики, судья и регрессии: как понять, что агент стал лучше, а не просто другим."
---

Eval — это воспроизводимая проверка качества. Без неё изменение промпта, модели или
инструмента нельзя оценить: результат каждый раз разный, а «стало лучше» —
впечатление.

## Что измерять

Не «качество агента» целиком, а слои:

| Слой | Вопрос | Пример метрики |
| --- | --- | --- |
| Извлечение | Правильные ли данные достали | Доля полей, совпавших с эталоном |
| Выбор инструмента | Тот ли инструмент вызван | Точность выбора |
| Аргументы | Верные ли параметры | Доля корректных аргументов |
| Результат | Решена ли задача | Доля успешных прогонов |
| Стоимость | Сколько стоил прогон | Токены и шаги на задачу |
| Задержка | Как быстро ответил | p95 времени |

Последние два — обязательная часть eval, а не отдельная тема: решение, которое
стало чуть точнее и втрое дороже, часто не стоит внедрения.

## Набор данных

Eval строится на наборе задач, а не на одном примере. Требования к набору:

- **Реальные входы**, включая неудобные: пустые, длинные, с опечатками.
- **Эталонные ответы** там, где они однозначны.
- **Критерии приёмки** для случаев без эталона.
- **Разбиение** на простые, пограничные и заведомо невыполнимые.
- **Версия набора** — иначе сравнение между релизами бессмысленно.

Полезная практика: каждая ошибка из продакшена становится новым тестом. Это самый
дешёвый способ наращивать покрытие.

## Судья

Когда эталона нет (текст, анализ, план), ответ оценивает модель-судья. Приёмы:

- **Явная рубрика.** Баллы за конкретные критерии, а не «оцени от 1 до 10».
- **Порядок и слепота.** Судья не должен знать, какой вариант «новый».
- **Проверка согласия.** Судья сверяется с оценками людей на подвыборке.
- **Разные модели.** Судья той же модели, что и агент, склонен одобрять свой стиль.

Судья — инструмент, а не истина: его оценка сама требует валидации.

## Регрессии

Eval запускается на каждое изменение и сравнивается с базовой линией:

- общая метрика не упала;
- ни один критичный тест не перешёл из «проходит» в «падает»;
- стоимость и задержка не выросли выше порога.

Разрешать ухудшение можно, но осознанно: с записью, почему это приемлемо.

## Чего eval не показывает

- **Редкие катастрофы.** Набор из ста примеров не поймает инцидент раз в тысячу
  запусков.
- **Дрейф данных.** Реальные входы меняются, набор — нет.
- **Пользовательскую ценность.** Метрика совпадения с эталоном не равна пользе.

Поэтому eval дополняется наблюдением за продакшеном, а не заменяет его.

## Минимальный старт

1. 20–30 реальных входов с эталонными ответами.
2. Скрипт прогона, сохраняющий результат и стоимость.
3. Сравнение с предыдущим прогоном.
4. Запуск в CI на изменения промпта и конфигурации модели.

Этого достаточно, чтобы перестать угадывать.

## Материалы и источники

- [WPCraft KB: evals](https://wpcraft.ru/kb/ai/evals) — прикладной разбор измерения AI-систем.