Сегодня в моем блоге речь пойдет про ботов, которые не отображают IP-сеть в метрике Яндекса. Разберём случай одного из моих клиентов, который заказал защиту сайта под ключ от ботов с бессрочной поддержкой.
Содержание
Анализ Яндекс метрики на наличие ботов
У нас есть отчет по метрике, есть данные:
- Страна: Финляндия
- Источники: Автоматическая атрибуция > Тип источника — Прямые заходы
- Разрешение экрана: маленькое и со случайным значением
- Устройство: Android (User Agent — он легко подделывается)
- Браузер: ПФ боты из Яндекс браузера — тот же User Agent — можно указать любой браузер
- Время на сайте: 0:00, 0:06, 0:15, 0:17, 0:07
У нас нет IP сети, метрика показывает пустоту. Что делать, как узнать кто это ходит и как заблокировать ботов на сайте?
Как заблокировать ботов с помощью Cloudflare — алгоритм и действия
Я не буду рассказывать что такое Cloudflare и как его установить, материалов на этот счет достаточно в интернете и в других темах на этом ресурсе.
На крайний случай Вы всегда можете заказать подключение Cloudflare к Вашему сайту под ключ.
Ниже я объясню правильный порядок действий, что нужно сделать, чтобы заблокировать плохих ботов.
Создать логирование прямых заходов
Переходите в панель управления Cloudflare, далее Security > WAF создаете новое правило:
Rule name (required) — название Вашего правила — пометка для Вас (видно только Вам).
Делает как на скриншоте, после чего нажимаете сохранить «Deploy».
Правило будет пропускать и логировать все прямые запросы. Если у Вас есть уже правила, которые блокируют других спамных ботов, но н блокируют тех у которых нет IP-сеть например, то это правило можно добавить в самый конец WAF правил. После чего ждете минут 10-15. Если же боты ходят редко — то больше.
Собрать логи Cloudflare и отчет Яндекс метрики
Вам нужно создать отчет по прямым заходам в метрике, как это было сделано выше на скриншоте с метрикой. И подготовить отчет логов по Cloudflare. Разберем на примере:
Тоже самое для Cloudflare, жмете на правило прямых заходов смотрите логи
Изучить метрику и логи Cloudflare
Тут уже просто сравнение данных. Вот пример лога прямых заходов, которые есть в Cloudflare.
В Яндекс метрике смотрите вебвизор по прямым заходам, видите визит без IP-сети, запоминаете время и идете смотреть его в Cloudflare.
В Cloudflare при нажатии Edit columns можно добавить колонку номер AS сети (ASN) и страницу захода (Path) чтобы лучше понимать и сравнивать.
Создать правильное правило блокировки ботов
Если вернуться в самое начала материала, то у нас были боты с Финляндии, я их уже давно заблокировал на сайте клиента, статья просто писалась несколько дней, когда было свободное время.
Они выглядят вот так (логи уже от другого проекта):
То есть в данном случае мы видим что боты идут из сети AS24940 -HETZNER-AS
Hetzner Online GmbH — компания и оператор центра обработки данных, базирующаяся в Гунценхаузене.
На этом хостинге размещаются:
- сайты;
- боты;
- полезные SEO сервисы;
- и в то же время бесполезные, если Вы не пользуетесь онлайн SEO сервисами.
Обычно блокируют сеть полностью, а если какой то бот нужные заблокирован — то его правилом выше добавляют в исключение. Мы рассмотрим только полную блокировку этой сети (опять же это просто пример, и какие у Вас боты — будет завесить от Вашего сайта и конкретной ситуации).
Как заблокировать ботов через Cloudflare
Переходим к практике, заходите в Cloudflare раздел Security — WAF — Create rule (создать правило).
Кодовый вариант правила: (ip.geoip.asnum in {24940})
Можно также добавить еще несколько других сетей в Value (где 24940).
Важно: это правило должно быть выше чем правило логирования прямых заходов, чтобы у него был приоритет.
Статья рассчитана на тех, кто уже читал ранее мой блог (рекомендую посмотреть его и изучить другие руководства) и хочет самостоятельно научиться блокировать некоторые виды ботов. Я постарался предоставить интересную информацию на доступном Вам языке.
Специальное предложение по защите сайта
Если Вам нужно быстрое и грамотное подключение Cloudflare с защитой от разных ботов, воспользуйтесь специальным предложением.
+ 5% комиссия сервиса Kwork
Фиксированная цена
+ 5% комиссия сервиса Kwork
Фиксированная цена
+ 5% комиссия сервиса Kwork
Фиксированная цена
Вы всегда можете заказать:
- консультацию по Cloudflare,
- защиту сайта под ключ Защита сайта от ботов, отказы накрутки, прямые заходы, DDoS Cloudflare — Antibot;
- точечную блокировку ботов Защита сайта от ботов IPv4 address block not managed by the RIPE NCC — Защита сайта от ботов Biterika Grupp OOO — блокировка ботов Битерика;
- и другие мои услуги здесь.
