LLMs.txt для AI-агентов

Что такое llms.txt

llms.txt — Markdown-файл в корне сайта или отдельного раздела, который кратко описывает проект и даёт ссылки на основные материалы. Это развивающееся соглашение сообщества, а не обязательный веб-стандарт. Файл может упростить агентам поиск нужного контекста, но не гарантирует обход сайта, его индексацию или цитирование.

Для базы знаний он помогает агенту быстро понять структуру сайта и найти релевантный контекст для промпта или RAG-пайплайна. В отличие от robots.txt, он не задаёт правила доступа; в отличие от sitemap.xml, он не предназначен для полного перечисления URL.

Формат и структура

Предложенная спецификация использует Markdown и задаёт последовательность основных элементов:

1. Заголовок первого уровня с названием сайта или проекта — обязательная часть.
2. Краткое описание в цитате (>), если оно нужно.
3. Дополнительные пояснения: аудитория, терминология, важные ограничения или принципы работы.
4. Разделы второго уровня со списками ссылок на подробные документы. Ссылку можно дополнить пояснением после двоеточия.
5. Необязательный раздел Optional для второстепенных материалов.

Пример компактного файла:

# Пример сервиса

> Сервис помогает командам управлять заявками и проектами.

Основная аудитория — небольшие продуктовые команды. Цены указаны в рублях.

## Документация

- [Начало работы](https://example.com/docs/start/): установка и первый запуск
- [Тарифы](https://example.com/pricing/): актуальные планы и ограничения

## Optional

- [История обновлений](https://example.com/changelog/)

Файл обычно публикуют в корне сайта по адресу /llms.txt. Спецификация также допускает файл внутри пути: он может описывать страницы, расположенные под этим путём.

Зачем это AI-агентам

Обычная HTML-страница неудобна для агента:

• в ней есть навигация, боковые панели, служебные блоки и лишний шум
• контент разбит на десятки URL
• агенту трудно понять, какие страницы главные, а какие второстепенные

llms.txt решает эту задачу так:

• даёт краткое описание проекта в одном месте
• показывает канонические ссылки на ключевые материалы
• помогает начать с сокращённого контекста и только потом расширяться
• упрощает подключение документации к IDE-агентам, чат-ботам и RAG-ассистентам

Какие файлы обычно используются

Некоторые проекты публикуют несколько файлов для разных объёмов контекста:

• llms.txt — обзорный индекс: что это за проект и какие материалы читать дальше
• llms-small.txt — короткий контекст для быстрого ответа или первичной маршрутизации
• llms-full.txt — полный контекст, когда агенту нужен максимум деталей

llms-small.txt и llms-full.txt — распространённые варианты реализации, но они не входят в базовую спецификацию llms.txt.

Для этой базы знаний доступны:

• llms.txt — обзор и основные наборы документации
• llms-small.txt — сокращённая версия для быстрых сценариев
• llms-full.txt — полный контекст по базе знаний

Как подключать к AI-агентам

Вариант 1. Подключать URL как внешний источник контекста

Подходит для агентов и чатов, которые умеют читать URL напрямую.

Практика:

• сначала передавайте агенту https://wpcraft.ru/kb/llms.txt
• если ответа недостаточно, переключайте его на llms-small.txt
• для глубоких технических вопросов передавайте llms-full.txt

Это даёт контролируемую эскалацию контекста: от дешёвого и короткого к полному и дорогому.

Вариант 2. Использовать в RAG или knowledge ingestion

Подходит для внутренних AI-ассистентов, support-ботов и агентов в IDE.

Рекомендуемый поток:

1. Забрать llms.txt как entrypoint.
2. Извлечь из него ключевые ссылки на нужные разделы.
3. При необходимости догружать llms-small.txt или llms-full.txt.
4. Индексировать полученный контекст в локальное хранилище, vector store или knowledge cache.

Такой подход лучше, чем слепо индексировать весь сайт, потому что llms.txt уже задаёт curated-структуру материалов.

Вариант 3. Использовать в system prompt или инструкциях агента

Если агент работает по инструкции, можно явно прописать источник:

Если вопрос касается базы знаний WPC, сначала прочитай https://wpcraft.ru/kb/llms.txt.
Если нужны детали по конкретной теме, используй llms-small.txt или llms-full.txt.
Отдавай приоритет этим файлам перед случайным HTML-скрапингом сайта.

Это особенно полезно для:

• кастомных GPT/assistants
• Claude Projects
• Copilot/Cursor workflows
• агентных пайплайнов с retrieval step

Как подключить llms.txt в Starlight

Для сайтов на Astro Starlight удобнее всего генерировать эти файлы автоматически через плагин starlight-llms-txt.

Базовая схема:

import { defineConfig } from "astro/config";
import starlight from "@astrojs/starlight";
import starlightLlmsTxt from "starlight-llms-txt";

export default defineConfig({
  site: "https://example.com/",
  integrations: [
    starlight({
      title: "My Docs",
      plugins: [starlightLlmsTxt()],
    }),
  ],
});

После сборки сайт получает маршруты llms.txt, llms-small.txt и llms-full.txt автоматически.

Практические рекомендации

• Используйте llms.txt как точку входа, а не как замену всей документации.
• Давайте агенту короткий контекст первым, полный — только по необходимости.
• Включайте только полезные, доступные и актуальные страницы; короткие названия и пояснения помогают выбрать подходящий источник.
• Проверяйте ссылки, кодировку UTF-8 и публичную выдачу файла после деплоя.
• Не добавляйте закрытые материалы и данные, которые не должны быть публичными.

На WordPress файл можно добавлять при деплое в публичный корень сайта или генерировать подходящим инструментом. Генерация упрощает обновление, но состав ссылок и точность описаний всё равно нужно проверять.

Lighthouse включает проверку доступности llms.txt в набор проверок agentic browsing. Если сервер возвращает ошибку, проверка отмечает проблему; если файл отсутствует и сервер отвечает 404, результат считается неприменимым (N/A), поскольку файл необязателен. Эта проверка подтверждает доступность, а не качество содержимого или его влияние на видимость в AI-поиске.

Связь с AEO и GEO

Для маркетинговой роли llms.txt в обнаружении и представлении контента см. отдельный раздел «llms.txt как способ продвижения». Там разобраны сценарии применения и метрики; формат и подключение агентов рассматриваются в этой статье.

Когда llms.txt особенно полезен

• документация продукта
• база знаний
• developer portal
• support center
• сайт со сложной архитектурой разделов
• контентный проект, где агенту нужно быстро находить authoritative pages

Управление llms.txt на WordPress

На self-hosted WordPress файл можно вести через AI-агента: плагин Enable Abilities for MCP даёт две abilities — ewpa/get-llms-txt (чтение, определение источника файла и валидация по спецификации llmstxt.org) и ewpa/update-llms-txt (запись с авто-маршрутизацией через SEOPress Pro или виртуальный /llms.txt). Это позволяет агенту проверять и обновлять файл без доступа к файловой системе.

Связанные материалы

• Контекст для агентов — какие ещё файлы-контракты нужны агенту в проекте
• RAG — место llms.txt среди способов дать модели нужный контекст
• MCP — как ассистент получает доступ к сайту, где опубликован файл
• AEO и GEO — роль llms.txt в оптимизации для AI-поиска

Материалы и источники

• The /llms.txt file — llmstxt.org
• llms.txt в Lighthouse: Agentic browsing audits
• starlight-llms-txt: Getting Started
• LLMs.txt базы знаний WPC