Клоакинг

Клоакинг (от англ. cloaking — «маскировка», «сокрытие») — это техника чёрного SEO, при которой сайт показывает поисковому роботу одно содержание, а живому пользователю — совершенно другое.

Что такое клоакинг с точки зрения поисковиков — это прямое нарушение Webmaster Guidelines Google и правил Яндекса, за которое следуют ручные санкции и полное исключение сайта из выдачи.

Технически клоакинг реализуется через определение типа посетителя (User-Agent, IP-адрес, поведение в JavaScript) и выдачу разного HTML в зависимости от результата. Историческое применение — продвижение сайтов на запрещённых тематиках (адалт, фарма, гемблинг) под видом нейтрального контента, а также фишинговые схемы для обмана пользователей. Современные алгоритмы Google и Яндекса распознают клоакинг с высокой точностью через сравнение версий, доступных краулеру и обычному браузеру, а также через анализ поведения посетителей на странице.

Что такое клоакинг

Клоакинг — намеренная подмена контента в зависимости от того, кто запрашивает страницу. Сервер определяет, обращается к нему поисковый робот или живой пользователь, и отдаёт разные версии HTML. Для робота — тематически релевантный, насыщенный ключами текст по теме «продажа сейфов», для пользователя — посадочная страница онлайн-казино. Это классическое чёрное SEO: внешний вид сайта для поисковика и для человека отличается принципиально.

Эта техника возникла во второй половине 1990-х параллельно с массовым внедрением SEO. На раннем этапе поисковики ранжировали страницы преимущественно по плотности ключей в тексте, и оптимизаторы быстро поняли: вместо того чтобы интегрировать ключи в нормальный контент, проще создать «робот-версию» страницы с переспамом и подменять её для пользователей на красивую коммерческую версию. Параллельно с клоакингом развивались и другие техники чёрного SEO — дорвей-страницы, скрытый текст, ссылочные фермы.

В современном SEO клоакинг — однозначное нарушение требований поисковиков. Google прямо называет его в списке spammy practices в Spam Policies. Яндекс относит к «обманным методам продвижения» в Лицензии на использование поисковой системы. Дорвей и клоакинг часто упоминаются вместе как родственные техники: дорвей создаёт фальшивую страницу-ловушку, клоакинг подменяет её содержимое в зависимости от посетителя. Санкции варьируются от понижения позиций до полного исключения домена из индекса без права на восстановление.

Виды клоакинга

Самый частый и наиболее простой в реализации тип — клоакинг по User-Agent. Сервер проверяет заголовок входящего запроса: если содержит «Googlebot» или «YandexBot» — отдаёт оптимизированную для поисковика версию, иначе — версию для пользователя. Поисковики научились бороться с этим простым способом: периодически они отправляют запросы со стандартными User-Agent (Chrome, Firefox) и сравнивают полученный HTML с тем, что видит их официальный краулер.

Как реализуется клоакинг технически

На уровне веб-сервера простейший клоакинг по User-Agent выглядит так:

# .htaccess для Apache
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (Googlebot|YandexBot|Bingbot) [NC]
RewriteRule ^(.*)$ /seo-version/$1 [L]

На уровне приложения (PHP, Python, Node.js) логика встраивается в код контроллеров: на каждом запросе проверяется User-Agent, и в зависимости от результата подгружается разный шаблон. Более сложные реализации используют базы IP-адресов поисковиков, обновляемые через коммерческие сервисы вроде MaxMind или IP2Location.

JS-клоакинг работает по обратному принципу. На странице публикуется один HTML с оптимизированным для поисковика контентом. JavaScript при выполнении в браузере подменяет содержимое страницы на ту версию, которая нужна пользователю. Поскольку краулер исторически не выполнял JS, он видел только исходный HTML. С 2015 года Googlebot полноценно выполняет JavaScript при рендеринге, и этот тип клоакинга стал распознаваемым.

Двойные домены — отдельная разновидность маскировки на грани клоакинга. Один домен с белой версией сайта получает ссылки и попадает в выдачу, второй домен с тем же контентом, но другими ссылочными целями, перехватывает трафик через 301 или JS-редирект только для пользователей из поиска. Формально это не классический клоакинг, но поисковики относят технику к той же категории нарушений.

Клоакинг и санкции Google

Google прямо называет клоакинг в Spam Policies как один из основных типов нарушений. Возможные санкции:

• Ручные санкции (manual action). Сотрудник Search Quality Team вручную проверяет сайт, видит подмену контента и применяет санкцию. В Search Console приходит уведомление «Spam: cloaking» с указанием затронутых URL.
• Алгоритмические санкции. Spam Update и Helpful Content Update понижают сайты с признаками клоакинга без явного уведомления.
• Полное исключение из индекса (deindex). При массовом и злонамеренном клоакинге Google может удалить весь домен из выдачи. Восстановление возможно только через подачу запроса reconsideration после полного устранения нарушений.
• Запрет на переиндексацию. В тяжёлых случаях домен попадает в чёрный список, и даже после устранения нарушений вернуть его в индекс невозможно.

Известные случаи: в 2011 году Google наказал автомобильный бренд BMW Germany за клоакинг — сайт bmw.de был полностью исключён из выдачи на несколько дней. После устранения нарушений и публичных извинений сайт восстановили. В 2006 году аналогичный случай был с Ricoh Germany. Эти примеры показывают, что даже крупные бренды не получают исключений из правил.

Клоакинг в Яндексе

Яндекс относит клоакинг к категории «обманных методов продвижения» наравне с дорвеями, скрытым текстом и накруткой поведенческих факторов. Применяемые меры:

• АГС (Антигетероспам). Алгоритм, понижающий или полностью исключающий из индекса сайты с признаками манипуляции. Активен с 2009 года, последовательно эволюционировал — АГС-17 (2009), АГС-30 (2010), современные версии работают без явных номеров.
• Ручные санкции через Платон Щукин. Техподдержка Яндекс.Вебмастера применяет санкции на основании запросов и собственного аудита.
• Понижение позиций. Без полного исключения — сайт остаётся в индексе, но не появляется выше 50–100 позиций по большинству запросов.

В Яндекс.Вебмастере санкции отображаются в разделе «Диагностика → Безопасность и нарушения». Восстановление позиций после клоакинга в Яндексе занимает 2–6 месяцев и требует подачи запроса в Платон Щукин с подтверждением устранения нарушений.

Легитимные случаи разделения контента

Не любая выдача разного контента разным посетителям — клоакинг. Поисковики признают допустимыми сценарии:

• Геолокация. Сайт показывает цены в BYN для посетителей из Беларуси и в USD для зарубежных пользователей. Главное условие — поисковики из соответствующих регионов видят ту же версию, что и пользователи из этих регионов.
• Локализация языка. Автоматическая подача страницы на разных языках в зависимости от Accept-Language. Корректная реализация — через hreflang и отдельные URL для каждой локализации.
• A/B тестирование. Временное разделение трафика между версиями страницы. Google допускает A/B при условии: тест краткосрочный (1–2 месяца), 302 редиректы между версиями, никакой подмены содержания контентного смысла.
• Адаптивный дизайн. Разная разметка для мобильных и десктопных устройств при одинаковом содержании. Googlebot Mobile и Googlebot Desktop сканируют сайт отдельно, и каждый видит свою версию.
• Персонализация для авторизованных пользователей. Авторизованные пользователи видят персональные данные, поисковики и анонимные пользователи — общий контент.
• Платный контент с подпиской. Допустимо при условии использования schema.org/isAccessibleForFree: false и корректной разметки paywall.

Граница между легитимным разделением и клоакингом — в намерении и в одинаковости основного смыслового контента. Если краулер видит то, что не видит пользователь — это клоакинг. Если краулер видит общий контент, а пользователь — расширенный (с персональными данными, корзиной, рекомендациями) — это нормальная персонализация.

Как поисковики обнаруживают клоакинг

Алгоритмы Google и Яндекса используют несколько способов сравнения контента:

1. Запросы со скрытых User-Agent. Кроме официальных Googlebot и YandexBot, поисковики посылают запросы со стандартными Chrome и Firefox User-Agent с разных IP. Сравнение этих ответов с тем, что получает официальный краулер, моментально показывает подмену.
2. Сравнение Mobile и Desktop версий. При резком расхождении содержательной части срабатывает флаг подозрения.
3. Поведение пользователей в выдаче. Если 80% пользователей возвращаются обратно в выдачу через 5 секунд после клика — алгоритм заподозрит, что им показано не то, что обещано в сниппете.
4. Жалобы конкурентов. Через форму Search Console — Report Spam пользователи и конкуренты сообщают о подозрениях, и сотрудники проверяют сайты вручную.
5. Анализ редиректов. Цепочки 302 на разные URL в зависимости от User-Agent — прямой сигнал клоакинга.
6. JavaScript-рендеринг. Googlebot выполняет JS и сравнивает финальный DOM с исходным HTML. Расхождение во включении/исключении ключевых блоков — сигнал.

Время от внедрения клоакинга до обнаружения варьируется от нескольких дней до нескольких месяцев. Средний срок — 2–8 недель. После обнаружения санкции применяются автоматически или после ручной проверки за 1–14 дней.

Часто задаваемые вопросы

Является ли A/B тест клоакингом?

Нет, при правильной реализации. Google прямо разрешает A/B тестирование при соблюдении трёх условий: тест ограничен по времени (1–2 месяца), используются 302 редиректы вместо 301, разделение по cookie или JS, а не по User-Agent поисковика. Долгосрочное разделение трафика с разным контентом для поисковика и пользователей — уже клоакинг.

Можно ли показывать разные цены пользователям из разных стран?

Да, это легитимная геолокализация. Главное правило: поисковик из соответствующей страны должен видеть ту же версию, что и пользователь из этой страны. Googlebot преимущественно сканирует с американских IP — если белорусским пользователям показывается BYN, а Googlebot с американского IP видит USD, это нормально. Подозрение возникает, только если Googlebot из США видит одно, а пользователь из США — другое.

Считается ли клоакингом подмена контента после авторизации?

Нет. Авторизованный пользователь видит расширенную версию (личные данные, корзина, рекомендации), неавторизованный пользователь и поисковик — общую версию. Это персонализация. Клоакинг — это когда поисковику и анонимному пользователю показывается разный основной контент.

Можно ли восстановить сайт после санкции за клоакинг?

В Google: технически да, через подачу запроса reconsideration после полного устранения нарушений и аудита кода. Срок восстановления — 2–6 месяцев, успешность — около 40–60% случаев. В Яндексе аналогично — через обращение в Платон Щукин. Восстановление труднее, чем после других нарушений, потому что клоакинг признан намеренным обманом, а не технической ошибкой.

Является ли динамическая подгрузка контента через AJAX клоакингом?

Нет, если общий смысл страницы сохраняется. Современный Googlebot выполняет JavaScript и видит финальный DOM после AJAX-запросов. Если краулер при рендеринге получает тот же содержательный контент, что и пользователь — это нормальная техника прогрессивного улучшения. Клоакинг возникает только при намеренном расхождении между версией, доступной в исходном HTML, и финальной версией после JS.

Как проверить, не считает ли Google мой сайт клоакингом?

Через инструмент URL Inspection в Search Console: «Test Live URL» показывает, какую версию страницы получает Googlebot прямо сейчас. Если эта версия отличается от того, что видит обычный пользователь — есть риск восприятия как клоакинг. Также в разделе «Безопасность и ручные меры» Search Console приходят уведомления о подозрениях. Дополнительно — расширение Chrome User-Agent Switcher для проверки версии, отдаваемой Googlebot User-Agent.