Перейти к содержимому

Reflection: критика и самопроверка

Reflection — паттерн, где агент после первого ответа критикует его по явным критериям и переписывает. Работает он не всегда: без внешнего сигнала модель склонна подтверждать собственный вывод.

Саморефлексия. Та же модель проверяет свой ответ. Дёшево, но слабо: модель не знает того, чего не знала при первом проходе, и часто соглашается с собой.

Критик с другим контекстом. Отдельный вызов с другими инструкциями, другой моделью или доступом к источникам. Дороже, но результативнее: критик видит то, что автор пропустил.

flowchart LR
  T["Задача"] --> A["Автор"]
  A --> C["Критик"]
  C -->|"замечания"| A
  A --> R["Итог"]
  • Явные критерии. «Проверь, что каждое утверждение подкреплено источником» лучше, чем «улучши ответ».
  • Внешний сигнал. Тест, запуск кода, валидация схемы, сравнение с документом.
  • Ограничение раундов. Один-два прохода; дальше качество не растёт, а счёт растёт.
  • Разные модели. Критик на более сильной модели даёт больше пользы.
  • Критика без критериев. Модель переписывает стиль и не замечает фактов.
  • Согласие. «Проверь свой ответ» часто возвращает «всё верно».
  • Бесконечное улучшение. Без условия остановки агент полирует текст.
  • Подмена проверки. Рефлексия не заменяет тест: она оценивает текст, а не поведение системы.
  • Генерация кода: критик проверяет компиляцию и запуск.
  • Тексты с требованиями: тон, длина, обязательные пункты.
  • Извлечение данных: валидация схемы и полноты.
  • Аналитика: сверка чисел с источником.

Reflection часто комбинируется со структурированным выводом: критик проверяет не только содержание, но и соответствие схеме. И хорошо работает внутри plan-and-execute на этапе проверки шага.

В разборе 20 есть похожая конструкция, но это не рефлексия: два агента защищают противоположные позиции, а судья оценивает аргументы. Общий признак — внешняя оценка; различие — в том, что дебаты не улучшают один ответ, а сравнивают два.