Сегодня поговорим о надоедливых ботов из сети Ростелеком, они заходят из Москвы и Краснодара (Краснодарский край) — IP сеть в Яндекс метрике OJSC Rostelecom Macroregional Branch South или же PJSC Rostelecom (Krasnodar). Подробно расскажу как бороться с таким видом ботов. Подобную информацию на просторах интернета пока что не встречал.
Содержание
Как обнаружить Ростелеком ботов OJSC Rostelecom Macroregional Branch South
Немного вводной информации. Скорее всего, раз Вы зашли на эту статью, то Вы уже поняли что это боты OJSC Rostelecom Macroregional Branch South. Но материал читают мои клиенты и просто другие зашедшие пользователи, поэтому рассказываю как посмотреть что такие спамные боты действительно есть на Вашем сайте.
Заходите в вебвизор, делаете фильтровку
- Визиты в которых
Источники > Автоматическая атрибуция > Тип источника: Прямые заходы
- для людей, у которых
Характеристики > География > Местоположение: Москва и Московская область или Краснодарский край
Если получится следующая картинка по прямым заходам, то это боты Ростелеком. Я их называю «Краснодарские боты», хотя они идут и из МСК.
Ботовой трафик из IP-сети OJSC Rostelecom Macroregional Branch South. Поздравляю, мы обнаружили один вид ботов.
Популярные сети ботов Ростелеком
Большинство ботов Ростелеком идут из Москвы и Московской области из ASN 12389. Пока просто запомните это.
Боты OJSC Rostelecom Macroregional Branch South из сети AS 12389
Сфера деятельности: Телеком-операторRIR: RIPENCC; Страна: RU; Федеральный округ: ЦФО; Субъект РФ: Москва и Московская область
Ростелеком боты из сети AS 25490
Описание: PJSC Rostelecom (Krasnodar) или же OJSC Rostelecom Macroregional Branch SouthRIR: RIPENCC; Страна: RU; Федеральный округ: ЮФО; Субъект РФ: Краснодарский край
Блокировка ботов OJSC Rostelecom Macroregional Branch South через .htaccess
Я не буду рассказывать, как заблокировать ботов через .htaccess — там получится много сеток, условий и просто геморроя, хотя подождите..
Время от времени я подсказываю новичкам на одном известном SEO форуме, вот пользователь пишет:
То есть человек блокирует ботов самостоятельно через .htaccess по айпи, но это не всегда правильно. Блокировать просто айпи — это лишиться своего потенциального дохода. Дело в том что боты могут идти с мобильный айпи, бот перезагрузил устройство — провайдер выдал новый айпи. А Ваш потенциальный покупатель получит блокировку при переходе из поиска, по ссылке и вообще в целом хоть как — блокировка же по айпи.
Я предложил свои рекомендации, и предоставил примерный вариант блокировки таких ботов через .htaccess
Дублирую код и на свой сайт:
RewriteEngine On
RewriteCond %{REQUEST_URI} ^/pay [NC]
RewriteCond %{HTTP_REFERER} !^$
RewriteCond %{HTTP_REFERER} !^http://(www.)?yourdomain.com/.*$ [NC]
RewriteCond %{REMOTE_ADDR} ^123.456.789. [OR]
RewriteCond %{REMOTE_ADDR} ^987.654.321. [OR]
RewriteCond %{REMOTE_ADDR} ^777.222.772.
RewriteRule .* — [F]
Где /pay ваша страница куда идут боты, yourdomain — домен, ну и айпи через OR.
Заранее сделайте бэкап Вашего .htaccess, чтобы если что вернуть. Чтобы проверить работает это или нет, добавить свой айпи в блок.
Внимание: это всего лишь пример для блокировки точечных IP адресов, с прямого захода с пустым referer (откуда посетитель перешел на Ваш сайт если простым языком).
Как блокировать диапазоны айпи через .htaccess я не буду, так как этим файлом я не пользуюсь и достаточного опыта нет, просто информация, можете разобраться сами и предоставить вариант. Но ниже я расскажу про несколько сетей ростелекома откуда обычно идут боты и как их заблокать.
Как заблокировать Ростелеком ботов (OJSC Rostelecom Macroregional Branch South) через Cloudflare
Рассказывать, как подключить Cloudflare к Вашему сайту не буду, в интернете достаточно гайдов — это займет не больше одного часа. Начнем с самого главного сразу.
Боты, которые идут с Ростелеком сетей умны, но в тоже время глупы, возможно когда то они поменяют тактику — но пока способ блокировки работает — поэтому пользуйтесь.
Блокируем ботов из этих сетей через Cloudflare
Заходим в панель Cloudflare
- Security > WAF
Создаем новое правило, через кодовый вариант Edit expression:
(http.referer eq "" and http.request.full_uri contains "https://vashfreelancer.com/category/blog/" and ip.geoip.asnum in {12389 25490}) or (http.referer eq "-" and http.request.full_uri contains "https://vashfreelancer.com/category/blog/" and ip.geoip.asnum in {12389 25490})
Это правило блокирует прямые заходы если переход на определенный URL адрес и из двух сетей Ростелекома, в нашем случае допустим на https://vashfreelancer.com/category/blog/ — но там у меня очень много полезного для Вас в борьбе с ботами, заходите и почитайте.
После правки правила под Ваш проект, сохраните и опубликуйте его, нажав на Deploy. Рекомендую прописать правила в самом вверху (выше других).
По такому принципу можно делать и другие правила для этих плохих ботов, я показал лишь один подробный пример.
Отвечаю на два Ваших вопроса по правилам WAF
Скорее всего у Вас есть вопросы, сразу отвечу на них.
Почему мы блокируем ботов, а не делаем допустим им капчу (обязательную галочку)
Потому что эти боты проходят капчу. Только блокировка.
Но ведь если будет прямой заход по этому URL из этих сетей Ростелекома, то человек не попадет на страницу?
Верно. Но если Ваш сайт по продажам и боты идут на статью из блога, то не думайте о том что кто из поиска перейдет, сохранит себе допустим в телеграм, а потом перейдет по ссылке (такое может быть и это будет прямой заход, телеграм не передает referer). Но подумайте, сколько реально людей из этих двух сетей перейдут именно на эту страницу по прямому заходу? Как показывает практика, такого не встречал. Мы не блокируем заходы из поиска, по ссылкам с других сайтов и так далее.
Блокировка только на прямой заход из нужных сетей по нужному URL.
Что за referer — (черточка)
Это пустой реферер. Боты могут подставлять его таким образом, изучите логи своего сайта и вы поймете о чем это я.
Надеюсь статья была полезна и Вы заблокировали самостоятельно подобных ботов. Изучите материал и про других ботов здесь.
