Перейти к содержимому

Стоимость

Стоимость агента складывается из шагов, а не из одного ответа. Пока агент работает на демо, это незаметно; при первых сотнях пользователей счёт становится главным ограничением.

цена запуска = Σ по шагам (входные токены × цена входа + выходные × цена выхода)

Три множителя:

  • Число шагов. Растёт при неудачных попытках и свободном цикле.
  • Размер контекста. История и результаты инструментов накапливаются.
  • Класс модели. Дорогая модель на рутине умножает счёт.

Порядок влияния обычно такой: число шагов → размер контекста → класс модели.

Приём Что даёт Чем платите
Дешёвая модель на рутину Кратное снижение цены Качество на сложных шагах
Кэш промпта Экономия на повторяющемся префиксе Зависимость от провайдера
Ограничение истории Стабильный контекст Потеря давних деталей
Лимит шагов Потолок расходов Частичные результаты
Батчинг Скидка на объём Задержка
Кэш ответов Ноль стоимости на повторах Риск устаревших данных

Рабочая практика — задавать бюджет заранее и проверять его в цикле:

if spent_tokens > budget_tokens * 0.8:
return partial_result("budget_guard")

Агент возвращает частичный результат и причину, а не обрывается по исключению. Пользователь видит, что произошло.

Когда бюджет исчерпан, есть три стратегии:

  1. Остановиться и вернуть частичный результат.
  2. Переключиться на дешёвую модель для оставшихся шагов.
  3. Упростить задачу: меньше поиска, короче ответ.

Стратегия выбирается по домену. Для поддержки лучше остановиться; для исследования — вернуть частичный отчёт с пометкой.

  • Стоимость на запуск (p50, p95).
  • Стоимость на успешный запуск — показывает цену неудач.
  • Токены на шаг по типам шагов.
  • Доля запусков, упёршихся в бюджет.

Последняя метрика — индикатор, что лимит выставлен неверно или задача сложнее ожидаемого.

Кэш ответов экономит деньги, но требует аккуратности:

  • ключ включает все параметры, влияющие на ответ;
  • данные, которые меняются, не кэшируются;
  • у записи есть срок жизни;
  • в кэш не попадают персональные данные.

Иначе экономия превращается в устаревшие ответы.