Перейти к содержимому

Оценка по результату: execution-based evals

Для агента важен не отчёт о работе, а результат: собрался ли код, прошли ли тесты, появился ли файл, обновились ли данные в базе, отвечает ли страница. Execution-based eval запускает действие в реальной или приближенной среде и проверяет последствия.

Это отличается от оценки текста принципиально. Ответ может быть логичным, уверенным и при этом вредным: агент «создал» заявку, которой нет, или «исправил» тест, удалив проверку.

Канонический паттерн для кода:

  1. Агент получает задачу и выдаёт патч.
  2. Патч применяется в контейнере к реальному репозиторию.
  3. Запускается настоящий тестовый набор проекта.
  4. Задача засчитывается, только если все ранее падавшие тесты (FAIL_TO_PASS) стали зелёными и все ранее зелёные (PASS_TO_PASS) остались зелёными.

Второе условие важнее первого. Оно отсекает «исправления», которые ломают соседнее поведение или отключают проверки. Никакого судьи и сравнения строк — только факт выполнения.

По той же схеме устроены OSWorld (задачи в реальной операционной системе) и Terminal-Bench (работа в терминале).

Агентные бенчмарки дают важный сигнал: результат одной и той же модели меняется на десятки пунктов в зависимости от системы вокруг неё.

  • τ²-bench вводит dual-control: агент не просто действует, а ведёт пользователя. На домене Telecom модель уровня gpt-4.1 берёт 34% (pass^1) против 74% на классическом single-control домене Retail. Тот же класс модели проседает там, где нужна координация с человеком, а не чистое рассуждение.
  • MCP-Atlas — 1000 задач и 220 инструментов: 63% диагностированных провалов оказались когнитивными, а не связанными с вызовом инструментов. Модель вызывала инструменты правильно, но останавливалась слишком рано или плохо синтезировала результат.

Вывод для проекта: проверять надо не «умеет ли модель вызывать инструмент», а доводит ли система задачу до конца в вашем сценарии.

Execution-based проверка не требует бенчмарка из статьи. Нужен воспроизводимый сценарий и детерминированный признак результата.

СценарийПроверяемый результатКак проверить
Агент заполняет форму обратной связиЗаявка в базе с нужными полями, письмо в очередиЗапрос к БД, запись в тестовом почтовом сервере
Агент оформляет заказЗаказ создан, статус и сумма корректны, склад списанAPI заказа, состояние остатков
Агент правит страницуСтраница отвечает 200, блок присутствует, разметка валиднаHTTP-запрос, парсинг DOM, валидатор
Агент применяет миграциюСхема содержит колонку, данные сохраненыIntrospection схемы, выборочные запросы
Агент деплоитHealthcheck зелёный, версия в ответе совпадаетEndpoint версии, лог деплоя
Агент обрабатывает документПоля извлечены, спорные помечены для человекаСравнение с эталонным JSON

Правило одно: признак результата должен проверяться кодом. «Агент написал, что всё готово» — не признак.

from harness import run_agent
from db import count_tickets
def test_agent_creates_ticket_with_attachments(tmp_path):
files = [tmp_path / "invoice.pdf", tmp_path / "act.pdf"]
for f in files:
f.write_bytes(b"%PDF-1.4 test")
result = run_agent(
"Создай заявку на возврат по заказу 4411 и приложи оба файла",
files=files,
)
# Отчёт агента не проверяем — проверяем состояние системы
assert result.exit_code == 0
assert count_tickets(order_id="4411") == 1
ticket = latest_ticket(order_id="4411")
assert ticket.attachments_count == 2
assert ticket.status == "awaiting_review"

Такой тест ловит именно тот класс сбоев, который не виден в тексте ответа: агент мог «приложить» файлы в сообщении, не передав их в систему.

  • Прокси вместо цели. «Код компилируется» и «ответ содержит ключевые слова» — положительный proxy, который не доказывает решения задачи. Где возможно, измеряйте результат напрямую.
  • Нестабильная среда. Сеть, время, внешние API и общее состояние между прогонами дают плавающие результаты. Нужны фикстуры, изоляция и сброс состояния.
  • Побочные эффекты. Агент, который sends письма или платежи, требует тестового контура и идемпотентных операций.
  • Слишком узкий сценарий. Проверка одного счастливого пути не показывает поведение при ошибке; добавляйте ветки с отказами и частичными результатами.
  • Оценка только конечного артефакта. Промежуточные действия могут быть опасными: удаление данных перед «успешным» результатом.

Execution-based проверка — естественная защита от state-drift. Если тест сравнивает фактическое состояние системы с ожидаемым после каждого этапа, расхождение обнаруживается сразу, а не на двадцатом ходу. В кейсе с Blueprint-графом именно отсутствие такой проверки превращало системный сбой в «слабую модель»: Сбои обвязки.

  • Проверяется ли состояние, а не отчёт. Откройте тест: если в нём читается текст ответа, это не execution-based проверка.
  • Есть ли PASS_TO_PASS. Проверка «старое не сломалось» обязательна для изменяющих действий.
  • Изолирована ли среда. Общие базы и внешние API делают результаты несравнимыми.
  • Покрыты ли негативные ветки. Отказ, таймаут, частичный результат — такие же сценарии, как успех.
  • Есть ли тестовый контур для побочных эффектов. Иначе проверка опаснее отсутствия проверки.