Перейти к содержимому

21. PII Sanitization Agent: очистка до отправки в LLM

Единственный разбор без модели в контуре: агент вызывает внешний сервис очистки и работает как предохранитель перед LLM. Важен не код, а принцип fail-closed.

Удалить из текста персональные данные — почты, телефоны, национальные идентификаторы, банковские счета, ключи API — до отправки в модель или внешний API. Граница: агент не хранит оригинал и не заменяет юридическую проверку.

flowchart LR
  T["Текст"] --> S["sanitize"]
  S -->|"POST"| A["TrustBoost API"]
  A -->|"sanitized_content"| R["Очищенный текст"]
  S -->|"ошибка"| F["[REDACTED]"]

Модели нет: в метаданных проекта указаны llm: none и framework: other. Это тонкий клиент к сервису детекции и редактирования.

  1. Текст отправляется на endpoint с контекстом.
  2. Сервис возвращает очищенный текст и структурированный результат.
  3. При любой ошибке транспорта или ответа возвращается [REDACTED], а не исходный текст.
try:
resp = requests.post(ENDPOINT, json=payload, timeout=30)
except requests.RequestException:
return {"sanitized_content": "[REDACTED — sanitization service unreachable]"}
  • Fail-closed — главное решение. При сбое система не пропускает данные, а блокирует их. Для персональных данных это единственно верный дефолт.
  • Очистка до модели, а не после. Порядок принципиален: после отправки данные уже утекли.
  • Тонкий клиент. Модели детекции живут на стороне сервиса, поэтому в проекте нет ни весов, ни кода обработки.
  • Аудит. Сервис возвращает структурированный результат, пригодный для журнала.
  • Зависимость от внешнего сервиса. Недоступность блокирует всю цепочку — это цена fail-closed.
  • Ложные пропуски. Семантический детектор не гарантирует полноту, особенно на новых форматах идентификаторов.
  • Ложные срабатывания. Номер заказа может быть принят за телефон.
  • Данные уходят третьей стороне. Сервис видит текст до очистки — это отдельная юридическая оценка.
  • Нет проверки после. Очищенный текст не проверяется повторно.
  • Добавить локальный слой регулярных выражений перед внешним вызовом.
  • Проверять результат повторно и логировать случаи расхождения.
  • Ограничить, какие поля вообще попадают в контур.
  • Для чувствительных данных использовать локальную модель вместо внешнего API.