Индексация сайта:
почему новые страницы ждут поиск месяцами.

Страница с новым тарифом вышла, а в поиске её нет

Клиент просит ссылку на новую услугу. Вы отправляете адрес в мессенджер, он открывает страницу и всё видит. Через неделю тот же человек ищет вас в Яндексе по названию услуги и находит конкурента: ваша страница поисковику не показана.

Сцена типичная для сайтов, где контент выходит регулярно. Адрес открывается по прямой ссылке, но для поиска его не существует. Нормальный срок появления в выдаче — от 3 до 14 дней. Если прошёл месяц, ускорять переобход рано: сначала снимают причину.

Пять проверок на один вечер

Диагностика начинается с чисел, а не с правок. Откройте Яндекс Вебмастер и Search Console и выпишите пять показателей: дальше разговор идёт предметно.

• Страницы в поиске. Сравните число с адресами в карте сайта: разрыв в 20–30 процентов обычен, разрыв вдвое — уже сигнал.
• Обход сайта. Если робот запрашивает за неделю меньше половины новых страниц, причина в ссылках и скорости ответа.
• robots.txt. Ищите Disallow, закрывающие каталог и блог: такой раздел выпадает из индекса целиком.
• Код ответа и canonical. Сервер отдаёт 200, canonical ведёт на саму страницу, в мета-тегах нет noindex.
• Лимит ручных запросов: около 10 адресов в сутки в Google и своя квота переобхода в Яндексе. Витрину протолкнуть можно, каталог — нет.

Почему робот не доходит: три группы причин

Первая группа — техническая. Сервер отвечает дольше двух секунд или отдаёт 403 на защите от ботов. Антибот-фильтры нередко блокируют YandexBot по User-Agent, и в отчёте об обходе это выглядит как провал запросов.

Вторая группа — навигационная. У адреса нет ни одной входящей внутренней ссылки: он есть в карте сайта, но ни одна живая страница на него не ведёт. Такой адрес ждёт обхода от двух до шести месяцев.

Третья группа — содержательная. Страница с 300 знаками текста и пустыми разделами получает статус маловостребованной, а в Search Console — пометку «обнаружено, но не проиндексировано». Переобход покажет роботу тот же пустой шаблон.

Что теряет бизнес каждый месяц

Возьмём сайт услуг с каталогом на 1200 адресов. В индексе Яндекса 840 страниц, то есть 70 процентов. Остальные 360 адресов поиск не показывал ни разу.

Средняя страница такого каталога собирает 3 перехода в месяц. Считаем: 360 × 3 = 1080 переходов, которых сайт недосчитывается ежемесячно.

Переведём в деньги. Цена клика в нише услуг — 45 ₽, значит 1080 × 45 = 48 600 ₽ в месяц. За год это 48 600 × 12 = 583 200 ₽: столько стоит покупка того же трафика в Директе, пока 360 страниц лежат вне выдачи.

И речь только о переходах. При конверсии 1,5 процента 1080 визитов дают около 16 заявок в месяц, которые сейчас забирают конкуренты.

Полгода без правок: обход реже, конкуренты впереди

Само не рассосётся. Робот запоминает, что нового на сайте почти не появляется, и снижает частоту обхода: сначала раз в сутки, потом раз в неделю, затем раз в две недели. Каждая свежая страница получает тот же месяц ожидания.

Второй эффект — соседи по нише. Пока ваш адрес ждёт обхода, конкурент публикует свою версию услуги, собирает ссылки и закрепляется в выдаче. Через полгода борьба идёт уже не за позицию, а за право быть показанным.

Третий эффект — расходы. Бюджет на контент прежний, а отдача приходит позже и слабее: материал теряет около трети переходов первого месяца.

План на день: шесть шагов от robots.txt до IndexNow

Шаги идут от простого к сложному. Первые три закрываются за час, для остальных нужен доступ к шаблону сайта.

1. 01Почистите robots.txt: уберите Disallow с каталога и блога, оставьте строку Sitemap с полным адресом карты.
2. 02Пересоберите sitemap.xml: только рабочие адреса и настоящие даты lastmod, а не весь сайт одной датой.
3. 03Проверьте десять новых адресов на код 200, canonical на саму себя и отсутствие noindex.
4. 04Отправьте на переобход приоритетные страницы: услуги, категории, кейсы.
5. 05Подключите IndexNow: ключ в корне сайта и отправка адреса при публикации. Яндекс и Bing принимают их без ручной квоты, Google — нет.
6. 06Добавьте внутренние ссылки: три входящие с близких по теме страниц и блок похожих материалов на пять ссылок.

Что уже не починить настройками

Ручное ускорение работает на десятках адресов, а каталог измеряется тысячами: 500 товаров, умноженные на шесть параметров фильтра, дают 3000 адресов, и половина из них — дубли одной страницы.

Дальше начинаются решения, которые легко принять неверно. Закрыть параметры в robots.txt — и вместе с дублями уйдут рабочие страницы фильтров, которые приносили переходы. Оставить как есть — робот тратит обход на мусор.

Верный ответ — canonical, Clean-param и правила пагинации: они собирают вес на одном адресе и не выбрасывают его из выдачи. Такие правки живут в шаблоне и проверяются на копии сайта.

Работы студии: что входит и сколько стоит

Диагностика на входе бесплатная, ноль рублей: разбор ведёт основатель студии Максим Холмов. На выходе — перечень адресов вне индекса, причины по каждой группе, приоритеты и смета до старта.

Стоимость привязана к составу работ. Точечная починка сайта считается как лендинг — от 10 000 ₽, многостраничный ресурс — от 30 000 ₽, e-commerce проект — от 80 000 ₽. Системы сложнее: CRM — от 150 000 ₽, бот — от 100 000 ₽, приложение — от 150 000 ₽.

Стартовые 90 дней сопровождения идут без счёта: правки, переобход по расписанию, отчёт по обходу. С четвёртого месяца — от 5 000 ₽ в месяц. Исходники, доступы и документация оформлены на владельца.

Вывод: сначала причины, потом кнопка переобхода

Переобход — ускоритель, а не лечение. Если адрес закрыт в robots.txt или отдаёт 403, запрос на обход ничего не изменит: робот придёт и снова уйдёт.

Порядок такой: посчитайте страницы в поиске и разницу с картой сайта, проверьте свежие адреса на код ответа и canonical, уберите мешающее обходу, затем отправляйте приоритетные ссылки на переобход и подключайте IndexNow. Разница между ожиданием в месяц и попаданием за три дня — это 1080 визитов и 48 600 ₽ ежемесячно.