Robots.txt и Sitemap:
настройка без ошибок.

Диагноз: почему robots.txt — самый опасный файл на сайте

Robots.txt лежит в корне домена и действует на весь сайт сразу. Ни одна страница, ни один шаблон, ни одна настройка CMS не имеют такой власти: строка Disallow: / закрывает от обхода весь проект целиком, включая новые разделы, о которых вы ещё не думали. Чаще всего это происходит не от злого умысла, а от копирования файла с тестового домена или от «временного» закрытия, про которое забыли.

Последствия приходят не сразу. Сначала Яндекс и Google перестают обходить страницы, затем падает частота обхода, затем страницы выпадают из индекса.

Устройство robots.txt: директивы, приоритет и то, что не работает

Файл лежит строго в корне: https://site.ru/robots.txt, отдаётся с кодом 200 и типом text/plain. Если файл отдаёт 404, поисковики считают, что ограничений нет и обходят всё. Директивы чувствительны к регистру только в имени: Disallow, Allow, Sitemap, User-agent, Clean-param. Разберём по порядку.

• User-agent — начало блока. User-agent: * действует на всех, кому не адресован отдельный блок. Строки ниже принадлежат только этому агенту, следующий User-agent закрывает предыдущий блок.

Карта сайта: лимиты, индекс карт, lastmod, changefreq и priority

Карта сайта xml — это XML-файл по протоколу sitemaps.org. Жёсткие лимиты: не больше 50 000 URL в одном файле и не больше 50 МБ в несжатом виде, кодировка UTF-8. Превышили лимит — адреса, попавшие после отсечки, не попадут вообще никуда.

Основные теги внутри url: loc — обязательный канонический адрес, lastmod — дата изменения, changefreq — предполагаемая частота, priority — приоритет обхода. Ни один из тегов, кроме loc, не обязателен, и это важно: карта из одних loc работает лучше, чем карта с выдуманными датами.

Что происходит при ошибках: считаем на цифрах

Возьмём магазин с 4 000 товаров и 120 000 визитов из поиска в месяц. Строка Disallow: /catalog/ в старой копии robots.txt закрывает каталог. Каталог и карточки дают около 70 процентов поискового трафика — это 84 000 визитов в месяц, из которых за первый месяц осыпается примерно треть, а за три месяца почти всё. В деньгах при конверсии 1 процент и чеке 6 000 рублей потери составляют порядка 5 миллионов рублей в месяц. Восстановление занимает от двух до шести месяцев, потому что краулеры возвращаются к разделу постепенно.

Пошаговый план настройки: от проверки до мониторинга

• Проверьте текущий robots.txt. Откройте https://site.ru/robots.txt в браузере и командой curl -I посмотрите код ответа: нужен 200 и text/plain. Если отдаётся 404 или HTML, файл не работает, и первая задача — создать корректный. Любая правка robots.txt может снять сайт с индексации за минуту, а возврат занимает месяцы.
• Зафиксируйте правило по служебным страницам. То, что не должно попадать в индекс, но должно быть доступно краулеру для чтения noindex — закрывайте через meta noindex, а не через Disallow. Через robots.txt закрывайте только то, что боту вообще не нужно видеть: админку, корзину, технические обработчики.

Таблица: директива, что делает, типичная ошибка

User-agent задаёт блок правил; частая ошибка — писать правила до директивы или объединять агентов в одну строку через запятую. Disallow запрещает обход пути; ошибка — Disallow: / целиком на рабочем домене или закрытие /js/ и /css/. Allow разрешает обход внутри закрытого пути и работает по длине совпадения; ошибка — ставить Allow: / раньше Disallow и думать, что он главнее. Clean-param склеивает URL с метками; ошибка — перечислять только utm_source и забыть yclid, gclid и fbclid.

Где самостоятельная настройка упирается в потолок

Для лендинга или сайта на 30 страницах robots.txt пишется за вечер, а карта собирается плагином. Потолок начинается там, где сайт перестаёт быть статичным набором страниц и становится системой.

Динамический robots для интернет-магазина с фильтрами. У магазина с 100 000 товаров комбинаций фильтров миллионы, и единый шаблон закрытия тут не работает: одни параметры дублируют категорию, другие ведут на реальные подборки с трафиком. Нужен robots.txt, который генерируется на стороне сервера и меняется вместе с каталогом, плюс отдельные правила для Яндекса и Google, потому что Clean-param понимает только один поисковик.

Порядок работ и сколько это стоит

Работа начинается с аудита за 0 рублей: смотрим текущий robots.txt и карту, открываем Вебмастер и Search Console, проверяем, какие разделы закрыты, какие URL потеряны и сколько трафика это уже стоило. Аудит ведёт Максим Холмов, на выходе — список проблем с приоритетами и расчётом потерь, а не общие слова про важность SEO.

Дальше объём работ зависит от размера проекта. Лендинг с корректным robots.txt, картой и настройкой кабинетов — от 10 000 рублей. Сайт на несколько десятков или сотен страниц с разбивкой карты по типам и настройкой канонизации — от 30 000 рублей.

Вывод: robots.txt проверяют до того, как просел трафик

Robots.txt и карта сайта — не техническая формальность, а первое, что нужно проверять на любом проекте. Robots.txt определяет, что поисковик вообще увидит, карта — как быстро и в каком порядке. Ошибка в одном закрывает трафик, ошибка в другом сжигает краулинговый бюджет, и обе почти не видны в выручке до момента, когда падение уже случилось.

Практический минимум для владельца: открыть robots.txt и глазами проверить, что Disallow не закрывает ничего лишнего; посмотреть в Вебмастере и Search Console, сколько страниц принято из карты и сколько исключено; убедиться, что в карте нет редиректов и 404.