• Как отличить динамическую копию от статической
• Блокировка обращений с IP-адресов
• Топ IP-адресов
• Перенаправление посетителей с чужих доменов с помощью Javascript
• Блокировка определённых стран
• Как получить и установить токен API IPInfo
• Пропускать ботов поисковых систем из заблокированных стран

Автоматическое скачивание контента, динамическое клонирование (доменное проксирование), статическое клонирование - это эксплуатация злоумышленниками вашего труда и несовершенства алгоритмов поисковых систем в корыстных или злонамеренных целях.

Защита сайта от клонирования в первую очередь рассчитана на борьбу с динамическим клонированием (проксирование доменов). Функционал максимально эффективен для борьбы с работающим клоном.

Эксплуатации вашего контента и целых страниц в сетях дорвеев например или работе залитой копии вашего сайта на абузо-устойчивый хостинг, функционал защиты от клонирования помешать уже не сможет. Но он будет полезен для предупреждения автоматического скачивания.

Как отличить динамическую копию от статической?

Динамическая отображает изменения сразу по двум адресам: адресу вашего сайта и адресу клона, то есть если добавили материал или комментарий или любой лишний знак в код сайта - это сразу отразится и на адресе клона.

Статическая копия не изменяется при обновлении вашего сайта. То есть если вы добавили материал на сайт и он не отобразился сразу по адресу клона - это статическая копия.

Если вы нашли в поиске статическую копию своего сайта или отдельные страницы на чужих сайтах, в первую очередь сообщите о проблеме в поисковые системы:

1. Сообщить Google о фишинг странице 
2. Сообщить Google о спаме 
3. Пожаловаться на сайт в Яндекс
4. Напишите в тех.поддержку Яндекса и сообщите о клонировании своего сайта.
5. Напишите регистратору домена и хостеру сайта-нарушителя.

Блокировка обращений с IP-адресов

Как заблокировать динамическую копию сайта

1. Получаем IP сайта-клона. Для этого перейдите на страницу утилиты dig от Google
2. введите адрес сайта-клона в поле Имя, больше ничего не заполняйте и жмите на А. Вам нужна А запись, там будет отображаться IP сайта-клона.
3. Переходим в панель управления - Безопасность - Защита от клонирования - Блокировка обращений с IP-адресов - В поле список IP вставляем полученный адрес - HTML-код возвращаемой страницы настраиваем текст или картинку, которые будут отображаться вместо сайта по адресу клона и сохраняем.

   

4. Переходим по адресу клона - Обновляем страницу ctrl+f5 и видим то, что вы прописали в поле HTML-код возвращаемой страницы. Если вы не увидели желаемый результат, значит неправильно получили IP адрес клона или это статический клон, для блокировки которого данный метод не подходит

Примечание: в поле список IP адресов можно прописать только 20 IP адресов. в поле HTML-код возвращаемой страницы можно вставить HTML код максимально на 5120 символов

Топ IP-адресов

Статическая копия или эксплуатация контента сайта. Что делать?

Защита сайта от клонирования поможет вам предотвратить автоматическое скачивание сайта или контента. Для этого нужно включить логирование и установить автоматическую блокировку.

После активации пункта "Активировать логирование IP-адресов", у вас будет собираться список IP-адресов и будет отображаться значение в каком количестве этот айпи посещает ваш сайт: 

Поставьте отметки на пункты:

1. Активировать логирование IP-адресов - начнется сбор всех IP адресов, с которых обращаются к сайту за сутки. Данные хранятся за 10 последних дней. Все данные за любой день можно удалить нажав на кнопку “Очистить список IP”. 
2. Не логировать запросы к ПУ - это стоит по умолчанию, снимать галку не надо, если вам не надо отслеживать активность в пу (показывает только количество обращений к пу с IP администратора, но не показывает карту действий)
3. Не логировать администраторов - Поставьте галочку, чтобы при автоматической блокировке IP администратора не блокировался при большом объеме запросов к сайту
4. Не логировать ботов поисковых систем - галку стоит ставить тогда, когда вы настраиваете на автоматическую блокировку очень маленький лимит обращений к сайту с одного IP. Если ставите лимит больше 1000-2000х тысяч обращений, смело можно логировать и поисковых ботов. В любом случае всегда проверяйте инфо о самых активных адресах. Если в вебмастерах вы начали получать предупреждения о том, что робот не может просканировать сайт, обязательно проверьте за текущий и предыдущие дни все заблокированные IP. Если сомневаетесь, список блокировки IP можно очистить и сохранить
5. Автоматическая блокировка - галку надо ставить для предотвращения автоматического скачивания контента или всего сайта и предотвращения появления статических копий. Если на вашем сайте мало страниц лимит стоит поставить меньше. Если страниц больше, то и лимит можно установить больший чем 1000 хитов.
6. Токен авторизации API IPInfo. Необходим для увеличения лимита просмотров информации об IP-адресах, если вы часто просматриваете и анализируете эти данные.

Как получить и установить токен API IPInfo

Чтобы получить токен авторизации API IPInfo, вам нужно перейти на сайт: https://ipinfo.io/login выполнить регистрацию. 

Там же выбрать тариф Free API access или оплатить по желанию другой на выбор, далее перейти в раздел токен: https://ipinfo.io/account/token скопировать ваш токен:

и вставить его в админке вашего сайта:

далее сохранить настройки и должео все работать корректно.

Примечание: не надо ставить совсем маленькие лимиты для избежания блокировок своих же пользователей. Большое количество хитов до 500-600 может означать и длинную сессию тоже. то есть пользователь просто долго находился на сайте. Для сайтов с средними объемами страниц 500-600 не повод думать плохое.

Если при заходе на свой сайт вы видите надпись Этот сайт занимается кражей контента! вам надо пройти в панель управления сайт/admin и очистить список IP адресов и список стран.

Перенаправление посетителей с чужих доменов с помощью Javascript

Поможет уберечь аккаунты пользователей сайта, пытающихся по ошибке авторизоваться на клонах вашего сайта, работающих на проксирующих доменах злоумышленников. Особенностью данной настройки является то, что вы не сможете попасть к себе в панель управления по системному адресу сайт/admin

Если у вас перестал работать домен или он просрочен, при активной настройке вы не попадете в панель управления по системному адресу, чтобы продлить или открепить проблемный домен. В таких случаях вам нужно писать в тех.поддержку.

Блокировка определённых стран

Функция работает только с двухзначными кодами стран! Использовать с осторожностью, только если идет частая смена IP повышенных запросов в пределах одной страны. 

Функция будет полезна при блокировках спам-ботов с прокси различных экзотических стран. Особенно полезна функция будет для кино-сайтов, где нужно блокировать доступ к контенту из определенных стран. 

Если страна вашего текущего IP администратора попадет в список, вы увидите вместо сайта, то что прописано в поле HTML-код возвращаемой страницы. Для исправления нужно зайти в панель управления - защита от клонирования - Cписок кодов стран - удалить код своей страны или очистить список и сохранить. Тоже самое нужно сделать, если вы в вебмастерах стали получать предупреждения о проблемах сканирования сайта.

Пропускать ботов поисковых систем из заблокированных стран

Будьте внимательны, злоумышленники могут подделать HTTP_USER_AGENT и маскироваться под бота одной из поисковых систем. Если вы активируете опцию блокировки определенных стран, важно при этом не активировать и эту опцию “Пропускать ботов поисковых систем из заблокированных стран”.