Что такое Краулер и как это влияет на продвижение сайта?
Краулер — это специальный инструмент, при помощи которого поисковики вносят страницы в индекс. Процесс анализа начинается с парсинга новых или обновленных страниц.
Поисковые роботы собирают следующие данные:
- контент
- ссылки
- заголовки
- теги.
Поисковый робот, или паук — это специальная программа, цель которой собирать информацию по всему Интернету.
Что может краулер?
Поисковый робот может:
- сканировать одновременно множество страничек по всему Интернету
- находить дубли контента и удалять их из индекса
- добавлять на переиндексацию.
Первоначально паук заходит на файлы: robots.txt и sitemap, а уже затем анализирует другие страницы сайта. Это нужно для того, чтобы выявить ограничения по наполнению. Программа, как и обычный пользователь, не только анализирует статьи, но и переходит по внешним и внутренним ссылкам.
Если на сайте есть конфиденциальная информация, то ее можно закрыть от индексирования в файле robots.txt. При помощи тега nofollow закрывается индексирование внешних ссылок, которые размещаются на площадке.
