Наблюдаемость
Наблюдаемость отвечает на вопрос «что произошло в этом запуске». Без неё любой инцидент разбирается пересказом, а регрессия находится наугад.
Что записывать
Заголовок раздела «Что записывать»Один запуск агента — это дерево шагов. Минимальный набор полей на шаг:
| Поле | Зачем |
|---|---|
| Идентификатор запуска | Связать шаги в одну трассу |
| Шаг и его тип | Понять маршрут |
| Вход и выход шага | Воспроизвести решение |
| Модель и версия промпта | Объяснить изменение поведения |
| Токены и стоимость | Посчитать цену запуска |
| Задержка | Найти узкое место |
| Ошибка и её тип | Отделить технический сбой от логического |
Без версии промпта разбор бесполезен: поведение изменилось, а причина неизвестна.
Трасса вместо логов
Заголовок раздела «Трасса вместо логов»Плоский лог не показывает структуру: непонятно, какой вызов был внутри какого шага. Трасса показывает дерево вызовов и время на каждом уровне. Это единственный способ увидеть, что агент сделал двадцать шагов там, где хватило бы трёх.
Приватность в логах
Заголовок раздела «Приватность в логах»Трасса содержит входы и выходы, то есть пользовательские данные. Требования:
- очищать персональные данные до записи — см. 21. PII Sanitization;
- ограничивать срок хранения;
- разграничивать доступ: не все инженеры должны видеть содержимое диалогов;
- не писать ключи и заголовки авторизации.
Метрики
Заголовок раздела «Метрики»- Число шагов на задачу и его распределение.
- Стоимость на запуск и на успешный запуск.
- Доля запусков, завершившихся ошибкой, по типам.
- p50 и p95 задержки.
- Доля запусков, потребовавших вмешательства человека.
Разница между стоимостью на запуск и на успешный запуск показывает цену неудач.
Разбор инцидента
Заголовок раздела «Разбор инцидента»Порядок, который работает:
- Найти запуск по идентификатору или времени.
- Посмотреть маршрут: где отклонился от ожидаемого.
- Сравнить с предыдущей успешной трассой.
- Проверить, менялись ли промпт, модель или инструмент.
- Воспроизвести на том же входе.
- Добавить вход в eval-набор.
Шестой пункт превращает инцидент в защиту от повторения.
Алерт ставят не на «ошибка», а на отклонение от нормы:
- доля ошибок выше обычной;
- стоимость запуска выше порога;
- задержка p95 выросла;
- число шагов упёрлось в лимит;
- рост доли эскалаций.
Алерт на каждую ошибку быстро превращается в шум и перестаёт читаться.
Материалы и источники
Заголовок раздела «Материалы и источники»- WPCraft KB: наблюдаемость — общие практики SRE.