Оценка по результату: execution-based evals
Принцип
Заголовок раздела «Принцип»Для агента важен не отчёт о работе, а результат: собрался ли код, прошли ли тесты, появился ли файл, обновились ли данные в базе, отвечает ли страница. Execution-based eval запускает действие в реальной или приближенной среде и проверяет последствия.
Это отличается от оценки текста принципиально. Ответ может быть логичным, уверенным и при этом вредным: агент «создал» заявку, которой нет, или «исправил» тест, удалив проверку.
Как устроен эталон: SWE-bench Verified
Заголовок раздела «Как устроен эталон: SWE-bench Verified»Канонический паттерн для кода:
- Агент получает задачу и выдаёт патч.
- Патч применяется в контейнере к реальному репозиторию.
- Запускается настоящий тестовый набор проекта.
- Задача засчитывается, только если все ранее падавшие тесты (
FAIL_TO_PASS) стали зелёными и все ранее зелёные (PASS_TO_PASS) остались зелёными.
Второе условие важнее первого. Оно отсекает «исправления», которые ломают соседнее поведение или отключают проверки. Никакого судьи и сравнения строк — только факт выполнения.
По той же схеме устроены OSWorld (задачи в реальной операционной системе) и Terminal-Bench (работа в терминале).
Что показывают среды, кроме кода
Заголовок раздела «Что показывают среды, кроме кода»Агентные бенчмарки дают важный сигнал: результат одной и той же модели меняется на десятки пунктов в зависимости от системы вокруг неё.
- τ²-bench вводит dual-control: агент не просто действует, а ведёт пользователя. На домене Telecom модель уровня gpt-4.1 берёт 34% (
pass^1) против 74% на классическом single-control домене Retail. Тот же класс модели проседает там, где нужна координация с человеком, а не чистое рассуждение. - MCP-Atlas — 1000 задач и 220 инструментов: 63% диагностированных провалов оказались когнитивными, а не связанными с вызовом инструментов. Модель вызывала инструменты правильно, но останавливалась слишком рано или плохо синтезировала результат.
Вывод для проекта: проверять надо не «умеет ли модель вызывать инструмент», а доводит ли система задачу до конца в вашем сценарии.
Как строить в веб-проекте
Заголовок раздела «Как строить в веб-проекте»Execution-based проверка не требует бенчмарка из статьи. Нужен воспроизводимый сценарий и детерминированный признак результата.
| Сценарий | Проверяемый результат | Как проверить |
|---|---|---|
| Агент заполняет форму обратной связи | Заявка в базе с нужными полями, письмо в очереди | Запрос к БД, запись в тестовом почтовом сервере |
| Агент оформляет заказ | Заказ создан, статус и сумма корректны, склад списан | API заказа, состояние остатков |
| Агент правит страницу | Страница отвечает 200, блок присутствует, разметка валидна | HTTP-запрос, парсинг DOM, валидатор |
| Агент применяет миграцию | Схема содержит колонку, данные сохранены | Introspection схемы, выборочные запросы |
| Агент деплоит | Healthcheck зелёный, версия в ответе совпадает | Endpoint версии, лог деплоя |
| Агент обрабатывает документ | Поля извлечены, спорные помечены для человека | Сравнение с эталонным JSON |
Правило одно: признак результата должен проверяться кодом. «Агент написал, что всё готово» — не признак.
Пример проверки
Заголовок раздела «Пример проверки»from harness import run_agentfrom db import count_tickets
def test_agent_creates_ticket_with_attachments(tmp_path): files = [tmp_path / "invoice.pdf", tmp_path / "act.pdf"] for f in files: f.write_bytes(b"%PDF-1.4 test")
result = run_agent( "Создай заявку на возврат по заказу 4411 и приложи оба файла", files=files, )
# Отчёт агента не проверяем — проверяем состояние системы assert result.exit_code == 0 assert count_tickets(order_id="4411") == 1 ticket = latest_ticket(order_id="4411") assert ticket.attachments_count == 2 assert ticket.status == "awaiting_review"Такой тест ловит именно тот класс сбоев, который не виден в тексте ответа: агент мог «приложить» файлы в сообщении, не передав их в систему.
Ловушки
Заголовок раздела «Ловушки»- Прокси вместо цели. «Код компилируется» и «ответ содержит ключевые слова» — положительный proxy, который не доказывает решения задачи. Где возможно, измеряйте результат напрямую.
- Нестабильная среда. Сеть, время, внешние API и общее состояние между прогонами дают плавающие результаты. Нужны фикстуры, изоляция и сброс состояния.
- Побочные эффекты. Агент, который sends письма или платежи, требует тестового контура и идемпотентных операций.
- Слишком узкий сценарий. Проверка одного счастливого пути не показывает поведение при ошибке; добавляйте ветки с отказами и частичными результатами.
- Оценка только конечного артефакта. Промежуточные действия могут быть опасными: удаление данных перед «успешным» результатом.
Связь с дрейфом состояния
Заголовок раздела «Связь с дрейфом состояния»Execution-based проверка — естественная защита от state-drift. Если тест сравнивает фактическое состояние системы с ожидаемым после каждого этапа, расхождение обнаруживается сразу, а не на двадцатом ходу. В кейсе с Blueprint-графом именно отсутствие такой проверки превращало системный сбой в «слабую модель»: Сбои обвязки.
Что проверить в проекте
Заголовок раздела «Что проверить в проекте»- Проверяется ли состояние, а не отчёт. Откройте тест: если в нём читается текст ответа, это не execution-based проверка.
- Есть ли
PASS_TO_PASS. Проверка «старое не сломалось» обязательна для изменяющих действий. - Изолирована ли среда. Общие базы и внешние API делают результаты несравнимыми.
- Покрыты ли негативные ветки. Отказ, таймаут, частичный результат — такие же сценарии, как успех.
- Есть ли тестовый контур для побочных эффектов. Иначе проверка опаснее отсутствия проверки.
Материалы и источники
Заголовок раздела «Материалы и источники»- Evals: что должен знать каждый AI-инженер в 2026 — Артем Тарасов, раздел об execution-based evals
- SWE-bench — паттерн
FAIL_TO_PASSиPASS_TO_PASS - OSWorld — задачи в реальной операционной системе
- Terminal-Bench 2.0 — оценка работы в терминале
- τ²-bench — dual-control и координация с пользователем
- Inspect AI (UK AISI) — фреймворк Task / Solver / Scorer для execution-based проверок