Мы говорили об этом в 2009-м, и говорим об этом сейчас: удивительно, но до сих пор есть люди, которые используют для защиты своего сайта от индексации в Google или Bing только файл robots.txt. И в итоге их сайт все равно попадает в выдачу поисковиков. Знаете, почему это нас удивляет? Потому что robots.txt вообще не защищает […]
robots.txt
Posted inВопросы, Как сделать, Кейсы, Сниппеты
robots.txt для WordPress — рабочий пример файла
Провел SEO-аудит сайта при помощи labrika.ru. Оказалось что много технических ошибок. Пришлось колдовать с файлом robots txt. Готового плагина для этих целей у меня нет. Потому пришлось решать вопрос программно.