Индекс – база данных поисковой системы (машины), которая собирается роботами – «пауками» и содержит информацию обо всех известных системе интеренет-ресурсах в виде их текстовой и мультимедиа-структуры. Процесс внесения сайта в базу данных называется индексацией (индексированием).
Индекс, index, индекс поисковой системы, индекс поисковой машины.
Индексирование необходимо для организации эффективного поиска информации в сети. Чтобы интернет-ресурс появился в поисковой выдаче, его страницы должны быть проиндексированы, так как роботы поисковой системы используют индекс для поиска сайтов, текстовый массив которого соответствует ключевым словам поискового запроса.
Если на сайте присутствует копипаст или некачественный рерайт, он может не быть отсеян фильтрами при индексации. Затрудняет индексацию сложная иерархия сайта, слишком большая длина текстов, дублирование информации.
До появления сайта в поисковой выдаче проходит от 1 до 15 дней. Процесс происходит автоматически.
Существует два варианта воздействия на процесс индексации сайта:
Запретить индексацию отдельных страниц сайта можно с помощью файла robots.txt, который не позволит «пауку» обработку прописанных в нем страниц.