15. Unit Test Generator: тесты по коду
Генерация тестов — лучший первый агентный сценарий в разработке, потому что результат проверяется автоматически: тесты либо проходят, либо нет.
По Python-файлу получить набор тестов pytest: обычные случаи, границы, ошибки. Граница: агент не знает требований, поэтому тесты проверяют поведение, а не соответствие замыслу.
Архитектура
Заголовок раздела «Архитектура»flowchart LR C["Код"] --> P["Промпт тест-инженера"] P --> L["Модель"] L --> T["Файл тестов"] T --> R["pytest"] R -->|"провал"| L
В примере цикл отсутствует: тесты генерируются один раз и сохраняются в файл. Проверка запуском — задача человека или CI.
- Код читается из файла или аргумента.
- Промпт требует конкретные практики: фикстуры,
parametrize, проверку исключений. - Результат печатается или пишется в
--output.
Что в коде
Заголовок раздела «Что в коде»Промпт содержит явный список требований к тестам и указание выводить только содержимое файла, без пояснений.
Чему учит
Заголовок раздела «Чему учит»- Проверяемость важнее качества текста. Тест можно запустить — это объективный критерий.
- Требования в промпте. Перечисление практик (фикстуры, параметризация, исключения) заметно повышает качество.
- Вывод только кода. Указание «только файл» избавляет от разбора Markdown.
Где сломается
Заголовок раздела «Где сломается»- Тесты проверяют реализацию, а не поведение. Агент «подгоняет» ожидания под текущий код, включая его баги.
- Пропущенные границы. Деление на ноль, пустой ввод, отрицательные значения — часто забываются.
- Несуществующие импорты. Модель придумывает имена функций и фикстур.
- Хрупкие тесты. Проверка точных строк вместо поведения.
- Нет запуска. Сгенерированные тесты не выполняются, поэтому ошибки остаются.
Как улучшить
Заголовок раздела «Как улучшить»- Запускать
pytestсразу и возвращать ошибку в модель — это reflection с внешним сигналом. - Требовать хотя бы один тест на исключение и один на границу для каждой функции.
- Считать покрытие, а не число тестов.
- Проверять, что тесты падают на намеренно сломанной версии кода (мутационная проверка).
Связь с другими разделами
Заголовок раздела «Связь с другими разделами»- Разработка — метрики и риски.
- Reflection — цикл с проверкой запуском.
- LangChain — фреймворк.
Материалы и источники
Заголовок раздела «Материалы и источники»- pytest — фреймворк тестов, под который генерируются файлы.