Поисковый робот (краулер, бот, паук, web crawler) — автоматизированная программа поисковой системы, которая непрерывно обходит интернет, переходит по ссылкам и загружает страницы для последующей индексации и анализа.
Что такое поисковый робот в SEO — основа всего процесса индексации, без работы которой сайт не появится в поисковой выдаче. Googlebot, YandexBot, Bingbot и десятки других ботов круглосуточно сканируют миллиарды страниц, переходя по ссылкам и обнаруживая новый или обновлённый контент.
Каждый поисковый робот имеет собственный «user-agent» — идентификатор, по которому его можно распознать в логах сервера. Googlebot представляется как «Googlebot/2.1 (+http://www.google.com/bot.html)», YandexBot — «Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)». Это позволяет владельцам сайтов отличать роботов от обычных посетителей.
Работа с поисковыми роботами — отдельная область технического SEO. Через robots.txt, sitemap.xml, мета-теги, заголовки HTTP-ответов и Search Console владелец сайта управляет тем, какие страницы видят роботы, как часто их посещают и с какими ограничениями.
Что такое поисковый робот
Поисковый робот — это серверное приложение, которое имитирует поведение пользователя при работе с сайтом: отправляет HTTP-запросы, получает HTML-ответ, парсит код, извлекает ссылки и переходит по ним к новым страницам. Главное отличие от обычного пользователя — масштаб и автоматизация: один Googlebot одновременно обрабатывает миллионы страниц в разных точках мира.
Технически бот состоит из нескольких компонентов: модуль загрузки страниц (HTTP-клиент), парсер HTML, экстрактор ссылок, обработчик JavaScript (для современных динамических сайтов), модуль обнаружения дубликатов, очередь URL для обхода. Современные роботы Google и Яндекса полноценно рендерят страницы через встроенный движок браузера (Chromium у Google) и видят их так же, как видит обычный пользователь.
В русскоязычной SEO-литературе распространены синонимы: «краулер» (от crawler — ползущий), «паук» (spider — потому что обходит «паутину» сайтов), «бот» (от robot). В технических документах Google официально используется «Googlebot» как имя собственное, в Яндекс — «YandexBot».
Как работает процесс краулинга
Краулинг сайта поисковым роботом включает несколько последовательных операций:
- Начальный URL. Робот стартует с известных URL — из своей базы, sitemap.xml сайта, новых ссылок, обнаруженных на других страницах.
- HTTP-запрос. Робот отправляет GET-запрос на сервер сайта с указанием своего user-agent. Сервер должен ответить кодом 200 OK и отдать HTML-контент.
- Парсинг HTML. Полученный код анализируется: извлекаются текст, заголовки, мета-теги, структурированные данные. Особое внимание уделяется тегам <a href> — это новые URL для обхода.
- Рендеринг. Современные роботы выполняют JavaScript на странице через встроенный браузер. Это нужно для индексации сайтов на React, Vue, Angular, где контент динамически генерируется в браузере.
- Проверка robots.txt. Перед посещением каждой страницы робот сверяется с правилами в robots.txt — есть ли запрет на индексацию данного URL.
- Добавление в индекс. Если страница не запрещена, она передаётся в систему индексации. Параллельно её URL и обновлённый список обнаруженных ссылок попадают в очередь для следующего раунда обхода.
- Планирование повторного визита. Робот оценивает, как часто меняется контент страницы (по дате модификации, по сравнению с предыдущей версией) и определяет интервал между визитами — от нескольких часов до недель.
Процесс цикличный и непрерывный. Googlebot обходит крупные сайты ежедневно или даже несколько раз в сутки, мелкие — раз в 1–2 недели. Новые сайты могут ждать первого визита от нескольких часов до нескольких недель, в зависимости от их попадания в видимость поисковика.
Основные поисковые роботы
| Робот | Поисковик | User-Agent | Особенности |
|---|---|---|---|
| Googlebot (Desktop) | Googlebot/2.1 | Основной бот для индексации десктоп-версии | |
| Googlebot (Mobile) | Googlebot/2.1 (Mobile) | Mobile-First индексация — приоритетный с 2021 года | |
| Googlebot-Image | Googlebot-Image/1.0 | Индексация изображений для Google Images | |
| Googlebot-Video | Googlebot-Video/1.0 | Индексация видеоконтента | |
| YandexBot | Яндекс | YandexBot/3.0 | Основной краулер Яндекса |
| YandexImages | Яндекс | YandexImages/3.0 | Индексация изображений для Яндекс.Картинки |
| YandexMetrika | Яндекс | YandexMetrika/2.0 | Сбор данных для Яндекс.Метрики |
| Bingbot | Microsoft Bing | bingbot/2.0 | Краулер Bing и ChatGPT Search |
| DuckDuckBot | DuckDuckGo | DuckDuckBot/1.0 | Бот ориентированного на приватность поисковика |
| Baiduspider | Baidu | Baiduspider/2.0 | Главный краулер китайского интернета |
| AhrefsBot, SemrushBot, MJ12bot | SEO-сервисы | Соответственно | Боты SEO-инструментов, не относятся к поисковикам |
Помимо «официальных» поисковых ботов, по сайту ходят десятки других: SEO-сервисы (Ahrefs, Semrush, Majestic), агрегаторы новостей, мониторинг конкурентов, парсеры контента, прокси-сервисы. Это создаёт значительную нагрузку на сервер. Некоторые из них помечают себя честно, другие маскируются под обычных пользователей.
Управление краулингом
Владелец сайта имеет несколько инструментов для управления тем, как поисковые роботы взаимодействуют с сайтом:
Robots.txt. Текстовый файл в корне сайта, который указывает роботам, какие разделы можно сканировать, а какие нельзя. Пример:
User-agent: *
Disallow: /admin/
Disallow: /cart/
Allow: /
User-agent: Googlebot
Disallow: /private/
Sitemap: https://example.com/sitemap.xmlSitemap.xml. Файл со списком всех важных страниц сайта, который помогает роботам найти нужные URL быстрее. Особенно важен для крупных сайтов с глубокой структурой и слабой внутренней перелинковкой.
Мета-теги robots. Внутри HTML-страницы можно задать инструкции для роботов:
<meta name="robots" content="noindex, nofollow">Это запретит роботу индексировать страницу и переходить по ссылкам на ней. Опции: index/noindex, follow/nofollow, noarchive (запрет кэширования), nosnippet (запрет показа сниппета в выдаче).
HTTP-заголовки. X-Robots-Tag в заголовке ответа сервера — то же самое, что мета-тег robots, но устанавливается на уровне сервера и применяется к любым типам файлов, включая PDF, изображения, документы.
Search Console и Яндекс.Вебмастер. Через эти сервисы можно явно отправлять страницы на переиндексацию, удалять URL из индекса, настраивать частоту обхода, видеть статистику работы робота.
IndexNow. Открытый протокол (поддерживается Bing, Яндексом, не Google), который позволяет сайту мгновенно уведомлять поисковики о новых или обновлённых страницах. Робот приходит почти моментально, не дожидаясь планового обхода.
Краулинговый бюджет
Краулинговый бюджет — это количество страниц, которые поисковый робот готов обойти на сайте за определённый период (обычно за день или неделю). У каждого сайта он свой, и от него прямо зависит, как быстро новые страницы попадают в индекс и насколько актуальна информация в выдаче.
На размер бюджета влияют:
- Авторитет сайта. Сильные сайты с высоким PageRank и трастом получают больше внимания роботов. Малоавторитетные молодые сайты — мало.
- Размер сайта. На 1000 страниц робот может выделить полный обход в день. На 1 миллионе — несколько процентов от общего числа за тот же период.
- Скорость загрузки. Медленный сервер — меньше страниц робот успеет обойти. Высокая нагрузка тоже снижает интенсивность краулинга.
- Качество страниц. Если робот сталкивается с массой 404, 500, дублей, soft 404 — он сокращает бюджет, считая, что тратить ресурсы на такой сайт неэффективно.
- Частота обновлений. Активно обновляемые сайты (новости, блоги) получают больше визитов, чем статичные.
Управление краулинговым бюджетом критично для крупных сайтов: интернет-магазинов с десятками тысяч карточек товаров, новостных порталов, маркетплейсов. На малых сайтах (до 1000 страниц) проблема обычно не возникает.
Диагностика проблем с краулингом
Признаки и инструменты для выявления проблем с работой поисковых роботов:
Search Console — отчёт «Покрытие». Главный источник информации. Показывает статистику по проиндексированным, исключённым и проблемным страницам. Категории: «Проиндексированные», «Не проиндексированные» (с причинами: noindex, soft 404, дубль, исключено по robots.txt), «Ошибки».
Search Console — отчёт «Статистика сканирования». Показывает, сколько страниц обходит Googlebot ежедневно, какие коды ответов получает, среднее время загрузки. Резкие падения активности — сигнал проблемы.
Яндекс.Вебмастер — раздел «Индексирование». Аналог для Яндекса с собственной статистикой обхода YandexBot и ошибок при индексации.
Анализ логов сервера. Прямой способ увидеть всех ботов, посетивших сайт. Через утилиты вроде Screaming Frog Log File Analyser или GoAccess можно выявить, какие страницы посещают чаще, какие игнорируются, нет ли ботов, маскирующихся под Googlebot.
Screaming Frog SEO Spider в режиме User-Agent: Googlebot. Программа имитирует работу Googlebot, обходит сайт и показывает, какие проблемы возникнут у настоящего бота: 404, редиректы, заблокированные ресурсы, проблемы с рендерингом.
Технические аудиты Ahrefs, Semrush. Облачные сервисы регулярно сканируют сайт и присылают отчёты о проблемах индексации с рекомендациями по исправлению.
Часто задаваемые вопросы
Чем поисковый робот отличается от обычного пользователя?
Главное отличие — масштаб и автоматизация. Робот посещает миллионы страниц в минуту, обычный пользователь — десятки в час. Робот не кликает по контактам, не покупает товары, не оставляет комментарии — только читает HTML и переходит по ссылкам. Робот идентифицирует себя через user-agent, что позволяет отличать его от людей в логах сервера.
Как часто Googlebot посещает новые сайты?
Зависит от того, как быстро поисковик узнаёт о сайте. Если есть внешние ссылки или сайт добавлен в Search Console, первый визит — от нескольких часов до 2–3 дней. Если внешних ссылок нет — может занять недели. Регулярные обходы устанавливаются через 1–2 месяца после первой индексации.
Можно ли запретить роботам сканировать определённые страницы?
Да, несколькими способами: через директиву Disallow в robots.txt (рекомендация для роботов, не обязательная к исполнению), через мета-тег <meta name=”robots” content=”noindex”> (страница не попадёт в индекс), через X-Robots-Tag в HTTP-заголовке (для нестандартных типов файлов), через парольную защиту (физически недоступно).
Что такое «Mobile-First Indexing»?
Подход Google, при котором приоритетной версией сайта считается мобильная, а не десктопная. Googlebot обходит сайт сначала как мобильный пользователь и индексирует мобильный контент. Если мобильной версии нет или она сильно отличается от десктопной — это создаёт проблемы для SEO.
Как защитить сайт от парсеров-конкурентов?
Полностью защититься невозможно. Можно блокировать известных ботов конкурентов в robots.txt и через .htaccess, использовать защиту от парсинга (Cloudflare, BotShield), но определившийся парсер обойдёт большинство защит. Главное — отделить полезных ботов (Google, Яндекс) от вредных, не блокируя первых случайно.
Что делать, если страница долго не индексируется?
Проверить, нет ли запрета в robots.txt или мета-теге noindex. Убедиться, что страница доступна (200 OK, не 404 или 500). Проверить наличие внутренних или внешних ссылок на неё. Отправить URL на индексацию через Search Console и Яндекс.Вебмастер. Если сайт поддерживает IndexNow — использовать его.
Сколько роботов одновременно сканируют один сайт?
Десятки. Кроме основных поисковых ботов (Googlebot, YandexBot, Bingbot) — SEO-сервисы (Ahrefs, Semrush, Majestic), агрегаторы (Feedly, Inoreader), AI-краулеры (OpenAI GPTBot, Anthropic Claude Bot, Common Crawl), мониторинг (Pingdom, UptimeRobot). На активном сайте за день можно увидеть в логах 50+ разных user-agent.
