--- title: LLMs.txt для AI-агентов description: Формат llms.txt, его публикация и применение для подключения сайтов, документации и баз знаний к AI-агентам. --- ## Что такое llms.txt `llms.txt` — Markdown-файл в корне сайта или отдельного раздела, который кратко описывает проект и даёт ссылки на основные материалы. Это развивающееся соглашение сообщества, а не обязательный веб-стандарт. Файл может упростить агентам поиск нужного контекста, но не гарантирует обход сайта, его индексацию или цитирование. Для базы знаний он помогает агенту быстро понять структуру сайта и найти релевантный контекст для промпта или RAG-пайплайна. В отличие от `robots.txt`, он не задаёт правила доступа; в отличие от `sitemap.xml`, он не предназначен для полного перечисления URL. ## Формат и структура Предложенная спецификация использует Markdown и задаёт последовательность основных элементов: 1. Заголовок первого уровня с названием сайта или проекта — обязательная часть. 2. Краткое описание в цитате (`>`), если оно нужно. 3. Дополнительные пояснения: аудитория, терминология, важные ограничения или принципы работы. 4. Разделы второго уровня со списками ссылок на подробные документы. Ссылку можно дополнить пояснением после двоеточия. 5. Необязательный раздел `Optional` для второстепенных материалов. Пример компактного файла: ```md # Пример сервиса > Сервис помогает командам управлять заявками и проектами. Основная аудитория — небольшие продуктовые команды. Цены указаны в рублях. ## Документация - [Начало работы](https://example.com/docs/start/): установка и первый запуск - [Тарифы](https://example.com/pricing/): актуальные планы и ограничения ## Optional - [История обновлений](https://example.com/changelog/) ``` Файл обычно публикуют в корне сайта по адресу `/llms.txt`. Спецификация также допускает файл внутри пути: он может описывать страницы, расположенные под этим путём. ## Зачем это AI-агентам Обычная HTML-страница неудобна для агента: - в ней есть навигация, боковые панели, служебные блоки и лишний шум - контент разбит на десятки URL - агенту трудно понять, какие страницы главные, а какие второстепенные `llms.txt` решает эту задачу так: - даёт краткое описание проекта в одном месте - показывает канонические ссылки на ключевые материалы - помогает начать с сокращённого контекста и только потом расширяться - упрощает подключение документации к IDE-агентам, чат-ботам и RAG-ассистентам ## Какие файлы обычно используются Некоторые проекты публикуют несколько файлов для разных объёмов контекста: - `llms.txt` — обзорный индекс: что это за проект и какие материалы читать дальше - `llms-small.txt` — короткий контекст для быстрого ответа или первичной маршрутизации - `llms-full.txt` — полный контекст, когда агенту нужен максимум деталей `llms-small.txt` и `llms-full.txt` — распространённые варианты реализации, но они не входят в базовую спецификацию `llms.txt`. Полный дамп всего корпуса редко бывает полезен: он занимает место в контексте целиком, даже если агенту нужна одна статья. Для этой базы знаний доступны: - [llms.txt](https://wpcraft.ru/kb/llms.txt) — курированный индекс: разделы, обзоры и ссылки на Markdown-версии страниц - [llms-index.txt](https://wpcraft.ru/kb/llms-index.txt) — дерево всех разделов и статей до третьего уровня: у каждой записи заголовок, описание и ссылка на `.md`-версию - Markdown-версия любой страницы — тот же адрес с `.md`: например [llms-txt-for-ai-agents.md](https://wpcraft.ru/kb/ai/context/llms-txt-for-ai-agents.md) Вместо полного дампа корпуса индекс ведёт по дереву: агент открывает нужный раздел, а обзор раздела перечисляет все свои страницы — дальше читается только то, что относится к вопросу. ## Markdown-версии страниц У каждой опубликованной страницы есть Markdown-сосед: к адресу HTML-страницы добавляется `.md`. Такая версия содержит только текст статьи — заголовок, описание, код, таблицы и ссылки на другие статьи в их Markdown-виде, без меню, оглавления, кнопок и служебных элементов. Изображения и внутренние ссылки в ней абсолютные, поэтому файл можно читать вне сайта. Страница сама сообщает о своей Markdown-версии в ``: ```html ``` Это позволяет агенту, который уже открыл HTML-страницу, перейти к чистому тексту без повторного обхода сайта. Обратный переход — `llms.txt` → нужная статья — основной путь: индекс даёт только карту разделов, а не весь корпус. ## Как подключать к AI-агентам ### Вариант 1. Подключать URL как внешний источник контекста Подходит для агентов и чатов, которые умеют читать URL напрямую. Практика: - сначала передавайте агенту `https://wpcraft.ru/kb/llms.txt` - по индексу выбирайте нужный раздел и открывайте Markdown-версии только тех статей, которые относятся к вопросу - `llms-index.txt` — когда нужен точный адрес: там дерево всех разделов и статей до третьего уровня Такой маршрут дешевле полного экспорта: в контекст попадают две-три страницы по теме вместо нескольких мегабайт текста. ### Вариант 2. Использовать в RAG или knowledge ingestion Подходит для внутренних AI-ассистентов, support-ботов и агентов в IDE. Рекомендуемый поток: 1. Забрать `llms.txt` как entrypoint. 2. Извлечь из него ссылки на разделы и нужные `.md`-страницы. 3. Загрузить эти страницы и разбить их на чанки — они уже очищены от навигации. 4. Если нужен полный список страниц для обхода, взять `llms-index.txt`: там дерево до третьего уровня, дальше — по ссылкам обзоров. Такой подход лучше, чем слепо индексировать весь сайт, потому что `llms.txt` уже задаёт curated-структуру материалов. ### Вариант 3. Использовать в system prompt или инструкциях агента Если агент работает по инструкции, можно явно прописать источник: ```text Если вопрос касается базы знаний WPC, сначала прочитай https://wpcraft.ru/kb/llms.txt. Выбери нужный раздел и открой Markdown-версии релевантных статей (адрес с .md). Если нужен точный адрес страницы, прочитай https://wpcraft.ru/kb/llms-index.txt — там дерево разделов до третьего уровня. Отдавай приоритет этим файлам перед случайным HTML-скрапингом сайта. ``` Это особенно полезно для: - кастомных GPT/assistants - Claude Projects - Copilot/Cursor workflows - агентных пайплайнов с retrieval step ## Как подключить llms.txt в Starlight Для сайтов на Astro Starlight удобнее всего генерировать эти файлы автоматически через плагин `starlight-llms-txt`. Базовая схема: ```js import { defineConfig } from "astro/config"; import starlight from "@astrojs/starlight"; import starlightLlmsTxt from "starlight-llms-txt"; export default defineConfig({ site: "https://example.com/", integrations: [ starlight({ title: "My Docs", plugins: [starlightLlmsTxt()], }), ], }); ``` После сборки сайт получает маршруты `llms.txt`, `llms-small.txt` и `llms-full.txt` автоматически. Если нужны отдельные Markdown-версии страниц и собственный индекс, плагины разделяют: `starlight-md-txt` добавляет `.md`-соседей и `rel="alternate"`, а `llms.txt` и дерево разделов собирают отдельные endpoint'ы по данным коллекции и сайдбара. Так и устроена эта база знаний: `llms.txt` ведёт на обзоры, `llms-index.txt` даёт дерево до третьего уровня, а текст берётся из `.md` нужной страницы — вместо мегабайтных наборов. ## Практические рекомендации - Используйте `llms.txt` как точку входа, а не как замену всей документации. - Давайте агенту короткий контекст первым, полный — только по необходимости. - Включайте только полезные, доступные и актуальные страницы; короткие названия и пояснения помогают выбрать подходящий источник. - Проверяйте ссылки, кодировку UTF-8 и публичную выдачу файла после деплоя. - Не добавляйте закрытые материалы и данные, которые не должны быть публичными. На WordPress файл можно добавлять при деплое в публичный корень сайта или генерировать подходящим инструментом. Генерация упрощает обновление, но состав ссылок и точность описаний всё равно нужно проверять. Lighthouse включает проверку доступности `llms.txt` в набор проверок agentic browsing. Если сервер возвращает ошибку, проверка отмечает проблему; если файл отсутствует и сервер отвечает `404`, результат считается неприменимым (`N/A`), поскольку файл необязателен. Эта проверка подтверждает доступность, а не качество содержимого или его влияние на видимость в AI-поиске. ## Связь с AEO и GEO Для маркетинговой роли `llms.txt` в обнаружении и представлении контента см. отдельный раздел [«llms.txt как способ продвижения»](https://wpcraft.ru/kb/marketing/ai/aeo.md#llmstxt-%D0%BA%D0%B0%D0%BA-%D1%81%D0%BF%D0%BE%D1%81%D0%BE%D0%B1-%D0%BF%D1%80%D0%BE%D0%B4%D0%B2%D0%B8%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F). Там разобраны сценарии применения и метрики; формат и подключение агентов рассматриваются в этой статье. ## Когда llms.txt особенно полезен - документация продукта - база знаний - developer portal - support center - сайт со сложной архитектурой разделов - контентный проект, где агенту нужно быстро находить authoritative pages ## Управление llms.txt на WordPress На self-hosted WordPress файл можно вести через AI-агента: плагин [Enable Abilities for MCP](https://wpcraft.ru/kb/stacks/wordpress/ai/enable-abilities-for-mcp.md) даёт две abilities — `ewpa/get-llms-txt` (чтение, определение источника файла и валидация по спецификации llmstxt.org) и `ewpa/update-llms-txt` (запись с авто-маршрутизацией через SEOPress Pro или виртуальный `/llms.txt`). Это позволяет агенту проверять и обновлять файл без доступа к файловой системе. ## Связанные материалы - [Контекст для агентов](https://wpcraft.ru/kb/ai/context.md) — какие ещё файлы-контракты нужны агенту в проекте - [RAG](https://wpcraft.ru/kb/ai/rag.md) — место `llms.txt` среди способов дать модели нужный контекст - [MCP](https://wpcraft.ru/kb/ai/agents/mcp.md) — как ассистент получает доступ к сайту, где опубликован файл - [AEO и GEO](https://wpcraft.ru/kb/marketing/ai/aeo.md) — роль `llms.txt` в оптимизации для AI-поиска ## Материалы и источники - [The /llms.txt file — llmstxt.org](https://llmstxt.org/) - [llms.txt в Lighthouse: Agentic browsing audits](https://developer.chrome.com/docs/lighthouse/agentic-browsing/llms-txt) - [starlight-llms-txt: Getting Started](https://delucis.github.io/starlight-llms-txt/getting-started/) - [LLMs.txt базы знаний WPC](https://wpcraft.ru/kb/llms.txt)