Перейти к содержимому

15. Unit Test Generator: тесты по коду

Генерация тестов — лучший первый агентный сценарий в разработке, потому что результат проверяется автоматически: тесты либо проходят, либо нет.

По Python-файлу получить набор тестов pytest: обычные случаи, границы, ошибки. Граница: агент не знает требований, поэтому тесты проверяют поведение, а не соответствие замыслу.

flowchart LR
  C["Код"] --> P["Промпт тест-инженера"]
  P --> L["Модель"]
  L --> T["Файл тестов"]
  T --> R["pytest"]
  R -->|"провал"| L

В примере цикл отсутствует: тесты генерируются один раз и сохраняются в файл. Проверка запуском — задача человека или CI.

  1. Код читается из файла или аргумента.
  2. Промпт требует конкретные практики: фикстуры, parametrize, проверку исключений.
  3. Результат печатается или пишется в --output.

Промпт содержит явный список требований к тестам и указание выводить только содержимое файла, без пояснений.

  • Проверяемость важнее качества текста. Тест можно запустить — это объективный критерий.
  • Требования в промпте. Перечисление практик (фикстуры, параметризация, исключения) заметно повышает качество.
  • Вывод только кода. Указание «только файл» избавляет от разбора Markdown.
  • Тесты проверяют реализацию, а не поведение. Агент «подгоняет» ожидания под текущий код, включая его баги.
  • Пропущенные границы. Деление на ноль, пустой ввод, отрицательные значения — часто забываются.
  • Несуществующие импорты. Модель придумывает имена функций и фикстур.
  • Хрупкие тесты. Проверка точных строк вместо поведения.
  • Нет запуска. Сгенерированные тесты не выполняются, поэтому ошибки остаются.
  • Запускать pytest сразу и возвращать ошибку в модель — это reflection с внешним сигналом.
  • Требовать хотя бы один тест на исключение и один на границу для каждой функции.
  • Считать покрытие, а не число тестов.
  • Проверять, что тесты падают на намеренно сломанной версии кода (мутационная проверка).
  • pytest — фреймворк тестов, под который генерируются файлы.