Индексирование сайтов — это процесс, при котором ресурс посещают поисковые системы, чтобы просмотреть весь контент и сохранить его в базе данных (индексе). Если поисковая система не возвращает ответ в том стиле, в котором начинает поиск по всей Сети, она просматривает себя в базе данных и предлагает результаты, соответствующие запросу. Поэтому страницы результатов поиска должны быть проиндексированы. Если поисковик не хранит их в базе данных, она не будет их отображать. База данных — библиотека сайтов, где поисковая система находит лучший ответ на запрос. Нужно сосредоточиться на индексации для каждого проекта.
Плохая индексация сайта
Поисковые системы могут не знать обо всех страницах, которые вы хотите отображать в результатах поиска. Тогда можно потерять посетителей, и не придется покрывать тот сегмент, который подходит для бизнеса. Например, представьте, что вам не обязательно иметь главную страницу, категорию интернет-магазина, статьи блога и т.д. в индексе поисковой системы. И если поисковая система не хранит их в базе данных, она не может отображать их в результатах поиска.
Многие сайты используют неиндексируемые страницы. Это если вы не хотите, чтобы они отображались в результатах поиска (благодарности, корзина электронного магазина, документы, пользовательские разделы).
Если вы хотите проиндексировать страницу, вы отправляете ее URL-адрес в поисковике для сканирования и оценки. Можно разместить его, например, в карте сайта или отправить его вручную для индексации — «Добавить страницу» в список и «Отправить URL» в Google. Однако бывает, что поисковая система все равно решает не индексировать его. Нужно выяснить, в чем причина, почему поисковая система не хочет его отображать и что мешает его проиндексировать.
Есть много способов проверить статус проиндексированных страниц. Взгляните на основные шаги, которые мы выполняем.
Проверка индексации с помощью оператора сайта
Обычно мы пытаемся написать инструкции, как вы можете проверить статус индексации вашего сайта. Поскольку этот вопрос нам задают довольно часто, мы ответили на него в кабинете SEO-консультаций. Здесь есть другие советы в области SEO. Главное — сравнить количество URL-адресов, которые вы хотите отображать в результатах поиска, с количеством возвращенных страниц с помощью оператора сайта.
Проверка индексации сайта с помощью карт сайта и Marketing Miner
Если вы создали карту сайта с URL-адресами, которые должны отображаться в результатах поиска, тогда мы можем специально выяснить, какие страницы проиндексированы и, возможно, те, которые не отображаются в поиске. Сначала убедитесь, что ваша карта сайта действительно содержит только те URL-адреса, которые вы хотите отправлять в результаты поиска.
Для анализа страниц, отправленных через карту сайта, мы используем Marketing Miner, который содержит полезную функцию проверки полнотекстового индекса.
- Перейдите на сайт Marketing Miner и войдите в систему.
- Выберите создание «Нового отчета».
- Когда вас спросят, какой запрос вы хотите ввести, выберите «URL».
- Выберите «Карта сайта/RSS» и введите URL-адрес карты сайта, вы можете переименовать отчет и выбрать «Перейти к майнерам».
- В майнерах выберите средство проверки полнотекстового индекса.
Совет: можно выбрать индексируемость URL-адресов — вы можете узнать, какие URL-адреса индексируются, а какие канонизированы или запрещены в robots.txt.
Marketing Miner выведет, какие URL-адреса проиндексированы, а какие нет. На наш взгляд, что это самый быстрый и простой способ сделать анализ индексации сайта.
Проверьте индексирование, например, с помощью Google Analytics или Google Data Studio.
Индексирование ресурса, как правило (но не совсем точно), можно определить по целевым страницам — из обычного поиска. Вы можете отфильтровать целевые прямо в Google Analytics или создать свой собственный отчет с помощью Google Data Studio. Загрузите отчеты за определенный период и сравните их с представленными URL-адресами в карте сайта.
Если целевые страницы из поисковых систем получили трафик, они появляются в результатах поиска. А если трафик нулевой, то стоит проверить, почему это так.
Почему страницы не появляются в поиске?
Есть несколько причин, по которым ресурс не отображается в результатах поиска. Иногда причина видна с первого взгляда. Но бывает, что нужно сосредоточиться на проблеме.
- Проверьте страницу на наличие метатега с параметром noindex — для отключения индексации.
- Убедитесь, что она не заблокирована через robots.txt.
- Убедитесь, что унифицированный указатель ресурса простой и не мешает поисковым системам индексировать его (хэштеги в URL-адресе, параметрические URL).
- Есть ли внутренняя ссылка на ресурс и работает ли на ней перенаправление?
- Есть ли перенаправления на целевой URL? Или их мало?
- Страница указана в карте сайта?
- Дублирование уже существующего контента? Есть ли у поисковой системы причина отображать его в результатах?
- Качество страницы или штрафы.
Совет: для поддержки поставьте на обратные ссылки.
Это распространенные причины, с которыми мы сталкивались. На самом деле их больше.
Полезен ли ресурс для пользователей?
Если страница не проиндексирована (даже если есть предпосылки для индексации, тогда другой вариант) — проверьте содержимое, полезно ли оно для пользователей. Если да, убедитесь, что вы ссылаетесь на релевантные сайты (исходящие ссылки). Удостоверьтесь, что у нет большого количества сгенерированного текста, что вы не показываете контент, кроме пользователей, для поисковых систем и другие недостатки, которые «надоедают» поисковикам.
Штрафы
Худший случай — штраф. Узнать о ручном наказании можно в Google Search Console, а затем в разделе «Ручное вмешательство».
Возможно, есть вредоносное ПО. Найти его можно в GSC в разделе ?Проблемы безопасности?.
Как быстро индексировать вновь созданные страницы
Есть способы ускорить индексацию. Если вы создаете страницу, которую хотите отображать в результатах, нужно:
- отправить ее вручную для индексации:
- Google — Отправить URL (Добавить URL);
- список — Добавить страницу;
- есть страница в карте сайта, которую вы отправляете через службы:
- консоль поиска Google;
- список веб-мастеров.
В Google Webmaster Tools (Google Search Console) можно дополнительно использовать другую функцию — Fetch as Google (Получить как Google). Можно использовать этот инструмент, чтобы запросить рендеринг. Если проблем не обнаружено, можно немедленно запросить индексирование. Например, узнать, какие ресурсы робот Googlebot не смог загрузить.
Есть несколько причин некорректной индексации. Но ресурс нужно создавать для пользователей, а не для поисковых систем. Уделите внимание другим техническим условиям, которые ожидают поисковики. Если где-то используется параметр noindex, проверьте внесенные изменения. Нет ничего хуже, чем деиндексировать ресурс и потерять трафик.
