Поисковый робот: как Яндекс и Google обходят сайт и как ускорить индексацию

РАЗДЕЛ 01Что такое поисковый робот простыми словами

Представьте курьера, который ходит по городу без карты. Он знает несколько адресов, заходит по ним, видит на двери таблички с другими адресами и записывает их в блокнот. Завтра пойдёт по новым. Робот делает то же самое со ссылками.

По-английски это crawler или web crawler, в русском SEO-жаргоне кравлер или краулер. У каждого поисковика свои роботы: у Google это Googlebot, у Яндекса YandexBot и несколько специализированных.

Обход и индексация это разные этапы

Обход это когда робот скачал страницу. Индексация это когда поисковик решил, что страницу стоит хранить и показывать. Между ними фильтр: дубли, пустые страницы, страницы с запретом noindex в выдачу не попадут, даже если робот их скачал.

Поэтому вопрос «почему страницы нет в поиске» всегда раскладываю на два: робот её видел? И если видел, почему не взял в индекс?

Почему это касается бизнеса

Каждый раз, когда клиент заказывает новые посадочные под услуги или статьи, деньги начинают работать только после индексации. Страница, которую робот не нашёл месяц, это месяц без трафика.

РАЗДЕЛ 02Как робот обходит сайт: ссылка, загрузка, индекс

Последовательность у Яндекса и Google похожая, отличаются детали.

Шаг 1. Откуда робот узнаёт адрес

Источники новых адресов: ссылки с уже известных страниц (вашего сайта и чужих), карта сайта sitemap.xml, ручная отправка в Вебмастере или Search Console, протокол IndexNow. Страница без единой ссылки на неё и без sitemap для робота почти невидима.

Шаг 2. Проверка robots.txt

Перед скачиванием робот смотрит robots.txt. Если раздел закрыт Disallow, робот туда не пойдёт. Это самая дорогая ошибка в SEO: одна строка закрывает от обхода каталог или весь сайт. Подробно про правила разбирал в статье про robots.txt, sitemap и редиректы.

Шаг 3. Скачивание и рендеринг

Робот скачивает HTML. Google на октябрь 2026 по своей документации читает первые 2 МБ поддерживаемого файла (без сжатия) и первые 64 МБ PDF. Всё, что ниже лимита, для поиска как будто не существует. Если контент подгружается скриптами, его ещё надо отрендерить, а это отдельная очередь.

Шаг 4. Решение об индексе

Дальше поисковик сравнивает страницу с уже известными: нет ли дубля, есть ли содержание, нет ли запрета. Только после этого страница может появиться в выдаче.

РАЗДЕЛ 03Роботы Яндекса и Google: кто приходит на сайт

На сайт заходят десятки роботов, но для SEO важны два.

Googlebot

По документации Google на октябрь 2026, Googlebot бывает двух видов: для смартфонов и для компьютеров. Google индексирует в основном мобильные версии, поэтому большинство запросов приходит от мобильного робота. Отдельно управлять ими через robots.txt нельзя, у них общий токен. Google пишет, что в среднем Googlebot не должен заходить на сайт чаще раза в несколько секунд.

YandexBot

Основной робот Яндекса представляется как YandexBot. Скоростью его обхода управляют в Вебмастере: раздел «Индексирование», пункт «Скорость обхода». По умолчанию стоит «Доверять Яндексу», и алгоритм сам подбирает нагрузку. Ручной лимит выставляют, если сервер не держит нагрузку, или поднимают на время после добавления большого числа страниц.

Как отличить настоящего робота от подделки

Название робота в заголовке запроса подделать проще простого: парсеры конкурентов часто представляются Googlebot. Google советует проверять обратным DNS-запросом по IP или сверять IP с опубликованными диапазонами. В логах клиентов регулярно вижу «гуглботов» с IP, которые к Google отношения не имеют.

РАЗДЕЛ 04Как ускорить индексацию: что работает на октябрь 2026

Волшебной кнопки нет, но есть способы позвать робота быстрее, чем он придёт сам.

Яндекс Вебмастер: переобход страниц

Раздел «Индексирование», пункт «Переобход страниц». Добавляете адреса, робот приходит вне очереди. Квота суточная, её размер Яндекс считает для каждого сайта отдельно, остаток виден прямо в интерфейсе Вебмастера (и в ответе API). Трачу её на новые посадочные и страницы после крупных правок, а не на всё подряд.

Google Search Console: проверка URL

Инструмент «Проверка URL» показывает, видел ли Google страницу, и даёт кнопку запроса индексирования. Лимит на запросы тоже есть. Сам Google в документации по операторам называет этот инструмент более надёжным для диагностики, чем site:. Про бесплатные инструменты Google я писал в разборе Search Console и Trends.

IndexNow

Протокол, через который сайт сам сообщает поисковикам о новых и изменённых страницах. По сайту протокола на октябрь 2026 его поддерживают Яндекс, Bing, Naver, Seznam.cz, Yep и Amazon, Google в списке нет. В одном запросе до 10 000 адресов. Яндекс в справке предупреждает: отправка не гарантирует индексацию, это сигнал, а не приказ.

Sitemap и внутренние ссылки

Карта сайта с датами изменений и ссылки на новую страницу с главной, из меню или из свежих статей. Это бесплатно и работает на оба поисковика. Страница-сирота без входящих ссылок индексируется дольше всех.

РАЗДЕЛ 05Что мешает роботу: частые причины, почему страниц нет в индексе

Когда клиент жалуется, что новые страницы не индексируются, почти всегда нахожу одну из причин ниже.

Ошибки сервера

Если на запрос робота сервер отвечает 5xx, робот уходит и снижает частоту визитов. Регулярные 502 и 503 при нагрузке, и поисковик начинает экономить на вашем сайте. Что значат эти коды, разбирал в статье про ошибки 502, 503 и 403.

Закрытые разделы и случайный noindex

Закрытый в robots.txt каталог, noindex на шаблоне, который остался после разработки, canonical на чужую страницу. На сайтах на Битриксе и WordPress такое часто прилетает вместе с плагином или обновлением темы.

Тяжёлые страницы и скрипты

Если текст страницы собирается скриптом, а в исходном HTML пусто, роботу приходится рендерить. Если HTML распух за 2 МБ из-за встроенных картинок и кода, Google часть страницы просто не прочтёт.

Бесконечные адреса

Фильтры каталога, сортировки, метки отслеживания, календарь с бесконечными датами. Робот тратит обход на тысячи пустых адресов вместо нужных страниц. Для Яндекса параметры склеивают директивой Clean-param, для Google настраивают canonical.

РАЗДЕЛ 06Краулинговый бюджет: когда о нём думать

Краулинговый бюджет это сколько страниц поисковик готов обойти на вашем сайте за период. Термин любят пугать клиентов, но он важен не всем.

Сайт на 30-300 страниц

Для сайта услуг или лендинга с десятками страниц бюджет почти никогда не проблема. Если страницы не индексируются, причина в качестве, дублях или технических ошибках, а не в том, что робот «не успевает».

Каталог на десятки тысяч адресов

Здесь бюджет решает. Интернет-магазин с фильтрами легко генерирует сотни тысяч адресов, и робот месяцами обходит мусор. Тогда чищу параметры, закрываю бесполезные сортировки, слежу, чтобы в sitemap были только страницы, которые нужны в поиске.

Пагинацию не закрывать

Страницы /page/2/, /page/3/ в каталоге робот использует, чтобы добраться до товаров. Закрыть их в robots.txt значит отрезать роботу путь к карточкам. Если страницы пагинации не нужны в выдаче, им ставят noindex, follow, а не запрет обхода.

РАЗДЕЛ 07Как проверить, что робот был на сайте

Гадать не нужно, следы робота видны в трёх местах.

Статистика обхода в Вебмастере

В Яндекс Вебмастере есть отчёт по обходу: какие страницы робот скачал, когда и с каким ответом сервера. Если важной страницы там нет неделю, роботу до неё не дойти: нет ссылок или она закрыта.

Статистика сканирования в Search Console

У Google похожий отчёт показывает число запросов в день, ответы сервера и время загрузки. Рост времени ответа почти всегда идёт рядом с падением числа запросов робота.

Логи сервера

Самый честный источник: каждый визит робота записан с адресом и кодом ответа. Если есть доступ к хостингу, раз в месяц выгружаю логи и смотрю, на какие разделы уходит обход. Обычно там и находится мусор, который съедает внимание робота.

РАЗДЕЛ 08Краулеры для SEO: как посмотреть на сайт глазами робота

Web crawler бывает не только у поисковика. Есть программы, которые обходят ваш сайт так же, как робот, и показывают ошибки.

Что умеют такие программы

Обходят все ссылки сайта, собирают коды ответов, title, description, canonical, глубину вложенности, битые ссылки и цепочки редиректов. За час видно то, что вручную ищется днями. Например, Screaming Frog SEO Spider по сайту разработчика на октябрь 2026 бесплатно обходит до 500 адресов за раз, этого хватает на сайт услуг.

Что смотреть в первую очередь

• Страницы с ответом не 200 внутри сайта.
• Страницы с noindex, которые должны быть в поиске.
• Глубину: важная страница дальше трёх кликов от главной индексируется хуже.
• Дубли title и одинаковые страницы под разными адресами.

Если веб-студия сдала сайт и ушла, такой обход стоит сделать сразу после запуска. Подробнее о проверке сайта перед продвижением в разборе SEO-аудита.

РАЗДЕЛ 09FAQ

Отвечает Никита Морозов

Что такое поисковый робот простыми словами?

Программа поисковика, которая ходит по ссылкам, скачивает страницы сайтов и передаёт их в обработку. Без визита робота страница не попадёт в выдачу.

Чем crawler отличается от индексации?

Crawler, он же кравлер, только скачивает страницы. Индексация это решение поисковика хранить и показывать страницу. Скачанная страница может не попасть в индекс из-за дубля, пустоты или запрета noindex.

Как быстро робот находит новую страницу?

Срок не фиксирован: бывает несколько часов, бывает несколько недель. Ускоряют переобход в Яндекс Вебмастере, проверка URL в Search Console, sitemap, IndexNow для Яндекса и ссылки на страницу с главной или из меню.

Сколько страниц можно отправить на переобход в Яндексе?

Квота суточная и считается для каждого сайта отдельно. Остаток Яндекс показывает в разделе «Переобход страниц» в Вебмастере.

Поддерживает ли Google IndexNow?

На октябрь 2026 нет: по сайту протокола его поддерживают Яндекс, Bing, Naver, Seznam.cz, Yep и Amazon. Для Google остаются sitemap и проверка URL в Search Console.

Можно ли запретить роботу заходить на сайт?

Да, через robots.txt. Но запрет обхода не гарантирует удаления из выдачи, а случайный запрет нужного раздела убивает трафик. Перед любой правкой robots.txt проверяйте её в инструменте анализа robots.txt в Вебмастере.

Как понять, что на сайт заходит настоящий Googlebot?

Проверить IP: обратным DNS-запросом или по опубликованным диапазонам адресов Google. Название робота в заголовке запроса подделывают часто.

РАЗДЕЛ 10С чего начать

1. Сравните число страниц на сайте с числом страниц в поиске в Яндекс Вебмастере и Search Console.
2. Откройте robots.txt и проверьте, не закрыты ли нужные разделы.
3. Посмотрите отчёты по обходу: есть ли ошибки сервера и какие разделы робот обходит чаще всего.
4. Новые важные страницы отправьте на переобход и поставьте на них ссылки с главной или из меню.
5. Если цифры расходятся сильно и причина не видна, пришлите сайт: проверю индексацию и пришлю список, что исправить первым.

Никита Морозов

Яндекс Директ, SEO, маркетинг под ключ

Веду кабинеты клиентов сам, без передачи «младшему специалисту». Тексты на сайте написаны по тому, что вижу в отчётах, а не по чужим гайдам.

9лет в нише

200+проектов

4,919 оценок на Картах

Telegram-канал Отзывы на Яндекс Картах Кейсы