Что такое клоакинг в SEO, как работает и чем опасен

Некоторые интернет-маркетологи используют метод «клоакинг» для продвижения контента, который не одобряют или запрещают на большинстве площадок в интернете. В этой статье мы рассмотрим, что такое клоакинг, как он работает, его виды, а также объясним, почему поисковые системы и рекламные сети относятся к нему негативно.

1. Что такое клоакинг

Клоакинг (Cloaking) — это технология подмены контента, который видит пользователь при переходе на веб-страницу. В переводе с английского cloaking означает «маскировка, сокрытие», а cloak — плащ или покров. Суть метода заключается в том, что обычные посетители и поисковые роботы видят разную информацию на одном сайте.

Клоакинг работает через анализ User-Agent, IP-адресов и других технических параметров посетителя. Если система распознает поискового бота или модератора — показывает безопасную версию сайта, если обычного пользователя — перенаправляет на запрещенный контент. Например, рекламодатель запускает рекламу товаров для взрослых в социальных сетях, но модераторы блокируют его объявления. Здесь поможет клоакинг: по клику на ссылку модераторы и алгоритмы увидят нейтральную страницу, не связанную с запрещенной тематикой, а целевая аудитория попадет на изначально отклоненный сайт.

Часто клоакинг применяют, чтобы скрыть от поисковых систем и антиспам-фильтров нежелательный контент. В SEO этот метод используют для демонстрации поисковым роботам максимально оптимизированной версии страницы.

2. Принцип работы

Чтобы настроить клоакинг, нужно создать две версии сайта для разной аудитории:

Дальше веб-мастер настраивает систему распределения трафика через специальные скрипты и редиректы. Можно настроить фильтрацию вручную или подключить готовые сервисы для автоматизации.

Работает это так: когда кто-то заходит на сайт, система анализирует его IP-адрес, браузер и другие параметры. Обычного человека направляют на landing page с целевым контентом. Если распознают бота или модератора — показывают безопасную white page.

3. Как поисковики относятся к клоакингу

Поисковые системы рассматривают подмену как один из видов манипулирования алгоритмами и обмана пользователей, то есть спам-метод.

Согласно правилам "Яндекса", клоакинг определяется как "метод обмана поисковых систем, при котором посетителю сайта демонстрируется одна версия страницы сайта, а роботам - другая". Предполагается, что так вебмастера хотят искусственно улучшить позиции сайта в выдаче, однако на практике это лишь подвергает сайт высокому риску исключения из индекса или блокировки.

В политике Яндекса прямо указывается: "Применение методов подмены контента сайта является грубым нарушением правил. Обнаружение подобных техник на сайте может привести к выпадению сайта из индекса, снижению доверия к сайту и другим санкциям".

Google также считает его разновидностью интернет-спама и мошенничества из-за намеренной маскировки реального сайта от отдельных групп посетителей. В официальных правилах и рекомендациях для вебмастеров компания предупреждает: "Сайты, нарушающие наши политики, могут получить низкие позиции в выдаче или вовсе не показываться там... Под маскировкой подразумевается демонстрация поисковикам и пользователям разного контента с целью манипуляции результатами и введения людей в заблуждение".

За любое использование техник подмены Google может наложить санкции вплоть до полного исключения сайта из индекса поиска и блокировки домена. При повторных нарушениях вероятность жестких мер резко возрастает.

4. Как рекламные сети относятся к клоакингу

Использование клоакинга позволяет вебмастерам обходить требования рекламных сетей к сайту и продвигать запрещенные товары или услуги. Модераторы видят специально подготовленную белую страницу, полностью соответствующую правилам, в то время как реальным пользователям демонстрируется отклоненное объявление.

Практически все крупные рекламные системы, так же как и поисковики, категорически запрещают любые методы незаконного продвижения офферов, включая клоакинг. Это прямо прописывается в публичных правилах и политиках компаний.

В частности, при арбитраже трафика в CPA-сетях клоакинг считается грубым нарушением условий и ведет к блокировке аккаунта без возможности восстановления. При этом в подавляющем большинстве случаев не имеет значения давность использования запрещенного метода - санкции применяются незамедлительно после первого же выявления факта клоакинга.

5. Виды клоакинга

Существует два основных вида , которые используют вебмастера:

5.1 Серый клоакинг

Серый (grey cloaking) подразумевает показ поисковым роботам улучшенной версии сайта с целью увеличения релевантности и повышения позиций в выдаче. При этом обычным пользователям демонстрируется стандартный вариант контента.

Приемы серого клоакинга:

В результате поисковые системы видят гораздо более релевантную и полезную версию. Это позволяет занимать более высокие позиции в выдаче за счет обмана алгоритмов ранжирования.

5.2 Черный клоакинг

Черный  (black hat cloaking) подразумевает демонстрацию поисковым роботам одного контента, а реальным пользователям - совершенно другого.

Чаще всего для этого создают:

Главная цель черной подмены - показать максимально соответствующий контент для прохождения всех проверок и фильтров, в то время как пользователи видят совершенно другой сайт.

Через черный обычно продвигают запрещенные товары, вредоносные программы, незаконные услуги, пиратский контент, финансовые пирамиды и другие нарушающие правила офферы. Это самый опасный и незаконный вид клоакинга.

6. Варианты настройки клоакинга

Есть 2 основных инструмента, по которым обычно настраивается фильтрация трафика и показ разных версий сайта при использовании технологии клоакинга.

6.1 User-agent

User-Agent (Идентификатор браузера) - это строка, которая передаётся в запросе браузера к серверу и позволяет определить его тип и версию. На основе этого параметра можно отличить реальных посетителей от поисковых роботов.

При настройке подмены по user agent происходит анализ входящего запроса и сверка со списком браузеров или ботов. Если user agent соответствует какому-либо поисковому роботу (Googlebot, YandexBot и проч.), то показывается белая оптимизированная страница.

Если же идентификатор браузера не найден в списках ботов, это считается реальным пользователем и ему отдаётся фактическая версия контента, которая может содержать рекламу запрещенных товаров или услуг.

Фильтрацию по user agent можно реализовывать как на уровне веб-сервера с помощью правил, так и с использованием специальных скриптов или прокси-сервисов. Это относительно простой, но в то же время эффективный способ организации клоакинга.

6.2 IP-адрес

IP-адрес - уникальный цифровой идентификатор устройства в сети Интернет. Он также может использоваться для распознавания поисковых роботов и фильтрации трафика.

При настройке подмены по IP происходит сверка входящего запроса со списком диапазонов IP-адресов, закрепленных за поисковыми системами и другими сервисами. Например, у Google и Яндекса есть специальные зарезервированные диапазоны для ботов.

Если IP попадает в такие диапазоны, значит запрос пришёл от роботов и показывается белая страница. Все остальные IP считаются пользователями и им демонстрируется реальное содержимое.

Фильтрацию по IP-адресам проще всего реализовать с помощью веб-сервера, firewall или специализированных прокси-сервисов. Это более надёжный способ клоакинга, чем по user agent.

Сложность может вызвать постоянное обновление списков IP поисковых роботов, поэтому чаще всего применяют комбинацию из нескольких способов сегментации аудитории.

7. Как работают сервисы для клоакинга

Существуют специальные сервисы, которые позволяют автоматизировать процесс подмены и разделения трафика без использования трекеров. Их работа основана на установке JS-скриптов на целевые страницы.

Такие сервисы самостоятельно аккумулируют и обновляют базы данных IP-адресов, user agent’ов и других цифровых идентификаторов поисковых роботов, модераторов и прочих нежелательных источников трафика.

Принцип работы заключается в следующем: вебмастер регистрируется в выбранном сервисе, скачивает сгенерированный уникальный скрипт и устанавливает его на целевую страницу. Этот скрипт автоматически определяет параметры посетителя и перенаправляет запросы от роботов, модераторов и прочих "нежелательных" адресов на подготовленную белую страницу с оптимизацией.

Обычные пользователи видят фактическую версию. Такое решение позволяет обойти ограничения для продвижения запрещенных офферов. От трекеров подобные сервисы отличаются тем, что самостоятельно собирают и анализируют данные о трафике.

8. Заключение

Использование этой технологии действительно сможет скрывать реальное содержимое страниц от поисковых роботов, модераторов рекламных сетей и других автоматизированных систем проверок. Это дает возможность вебмастерам в краткосрочной перспективе обходить некоторые ограничения и продвигать запрещенные офферы.

Однако нужно понимать, что подмена является обманом по отношению к поисковикам и пользователям. Рано или поздно он будет выявлен алгоритмами и повлечет серьезные санкции вплоть до полной блокировки сайта. Кроме того, использование клоакинга формирует негативную репутацию для вебмастера и не позволяет создавать действительно полезные проекты для аудитории. В долгосрочной перспективе честное продвижение всегда выигрывает.

9. Вопросы и ответы