﻿---
title: "Оценка по результату: execution-based evals"
description: "Как судить агента по фактическому эффекту, а не по тексту ответа: FAIL_TO_PASS и PASS_TO_PASS, реальные среды, проверка артефактов и ловушки прокси-метрик."
---

## Принцип

Для агента важен не отчёт о работе, а результат: собрался ли код, прошли ли тесты, появился ли файл, обновились ли данные в базе, отвечает ли страница. Execution-based eval запускает действие в реальной или приближенной среде и проверяет последствия.

Это отличается от оценки текста принципиально. Ответ может быть логичным, уверенным и при этом вредным: агент «создал» заявку, которой нет, или «исправил» тест, удалив проверку.

## Как устроен эталон: SWE-bench Verified

Канонический паттерн для кода:

1. Агент получает задачу и выдаёт патч.
2. Патч применяется в контейнере к реальному репозиторию.
3. Запускается настоящий тестовый набор проекта.
4. Задача засчитывается, только если все ранее падавшие тесты (`FAIL_TO_PASS`) стали зелёными **и** все ранее зелёные (`PASS_TO_PASS`) остались зелёными.

Второе условие важнее первого. Оно отсекает «исправления», которые ломают соседнее поведение или отключают проверки. Никакого судьи и сравнения строк — только факт выполнения.

По той же схеме устроены OSWorld (задачи в реальной операционной системе) и Terminal-Bench (работа в терминале).

## Что показывают среды, кроме кода

Агентные бенчмарки дают важный сигнал: результат одной и той же модели меняется на десятки пунктов в зависимости от системы вокруг неё.

- **τ²-bench** вводит dual-control: агент не просто действует, а ведёт пользователя. На домене Telecom модель уровня gpt-4.1 берёт 34% (`pass^1`) против 74% на классическом single-control домене Retail. Тот же класс модели проседает там, где нужна координация с человеком, а не чистое рассуждение.
- **MCP-Atlas** — 1000 задач и 220 инструментов: 63% диагностированных провалов оказались когнитивными, а не связанными с вызовом инструментов. Модель вызывала инструменты правильно, но останавливалась слишком рано или плохо синтезировала результат.

Вывод для проекта: проверять надо не «умеет ли модель вызывать инструмент», а доводит ли система задачу до конца в вашем сценарии.

## Как строить в веб-проекте

Execution-based проверка не требует бенчмарка из статьи. Нужен воспроизводимый сценарий и детерминированный признак результата.

| Сценарий | Проверяемый результат | Как проверить |
|---|---|---|
| Агент заполняет форму обратной связи | Заявка в базе с нужными полями, письмо в очереди | Запрос к БД, запись в тестовом почтовом сервере |
| Агент оформляет заказ | Заказ создан, статус и сумма корректны, склад списан | API заказа, состояние остатков |
| Агент правит страницу | Страница отвечает 200, блок присутствует, разметка валидна | HTTP-запрос, парсинг DOM, валидатор |
| Агент применяет миграцию | Схема содержит колонку, данные сохранены | Introspection схемы, выборочные запросы |
| Агент деплоит | Healthcheck зелёный, версия в ответе совпадает | Endpoint версии, лог деплоя |
| Агент обрабатывает документ | Поля извлечены, спорные помечены для человека | Сравнение с эталонным JSON |

Правило одно: **признак результата должен проверяться кодом**. «Агент написал, что всё готово» — не признак.

## Пример проверки

```python
from harness import run_agent
from db import count_tickets


def test_agent_creates_ticket_with_attachments(tmp_path):
    files = [tmp_path / "invoice.pdf", tmp_path / "act.pdf"]
    for f in files:
        f.write_bytes(b"%PDF-1.4 test")

    result = run_agent(
        "Создай заявку на возврат по заказу 4411 и приложи оба файла",
        files=files,
    )

    # Отчёт агента не проверяем — проверяем состояние системы
    assert result.exit_code == 0
    assert count_tickets(order_id="4411") == 1
    ticket = latest_ticket(order_id="4411")
    assert ticket.attachments_count == 2
    assert ticket.status == "awaiting_review"
```

Такой тест ловит именно тот класс сбоев, который не виден в тексте ответа: агент мог «приложить» файлы в сообщении, не передав их в систему.

## Ловушки

- **Прокси вместо цели.** «Код компилируется» и «ответ содержит ключевые слова» — положительный proxy, который не доказывает решения задачи. Где возможно, измеряйте результат напрямую.
- **Нестабильная среда.** Сеть, время, внешние API и общее состояние между прогонами дают плавающие результаты. Нужны фикстуры, изоляция и сброс состояния.
- **Побочные эффекты.** Агент, который sends письма или платежи, требует тестового контура и идемпотентных операций.
- **Слишком узкий сценарий.** Проверка одного счастливого пути не показывает поведение при ошибке; добавляйте ветки с отказами и частичными результатами.
- **Оценка только конечного артефакта.** Промежуточные действия могут быть опасными: удаление данных перед «успешным» результатом.

## Связь с дрейфом состояния

Execution-based проверка — естественная защита от state-drift. Если тест сравнивает фактическое состояние системы с ожидаемым после каждого этапа, расхождение обнаруживается сразу, а не на двадцатом ходу. В кейсе с Blueprint-графом именно отсутствие такой проверки превращало системный сбой в «слабую модель»: [Сбои обвязки](https://wpcraft.ru/kb/ai/evals/harness-failure-modes.md).

## Что проверить в проекте

- **Проверяется ли состояние, а не отчёт.** Откройте тест: если в нём читается текст ответа, это не execution-based проверка.
- **Есть ли `PASS_TO_PASS`.** Проверка «старое не сломалось» обязательна для изменяющих действий.
- **Изолирована ли среда.** Общие базы и внешние API делают результаты несравнимыми.
- **Покрыты ли негативные ветки.** Отказ, таймаут, частичный результат — такие же сценарии, как успех.
- **Есть ли тестовый контур для побочных эффектов.** Иначе проверка опаснее отсутствия проверки.

## Материалы и источники

- [Evals: что должен знать каждый AI-инженер в 2026](https://habr.com/ru/articles/1050736/) — Артем Тарасов, раздел об execution-based evals
- [SWE-bench](https://github.com/SWE-bench/SWE-bench) — паттерн `FAIL_TO_PASS` и `PASS_TO_PASS`
- [OSWorld](https://arxiv.org/abs/2404.07972) — задачи в реальной операционной системе
- [Terminal-Bench 2.0](https://arxiv.org/abs/2601.11868) — оценка работы в терминале
- [τ²-bench](https://arxiv.org/abs/2506.07982) — dual-control и координация с пользователем
- [Inspect AI (UK AISI)](https://inspect.aisi.org.uk/) — фреймворк Task / Solver / Scorer для execution-based проверок