Боты в Яндекс Метрике: время на сайте 0:00, отказы, прямые заходы. Как бороться с такими ботами?

Вижу что растёт интерес к теме защита сайта от ботов, поэтому продолжаю серию постов, как заблокировать спамный трафик и отсеять бесполезных ботов. Дам вводную информацию и немного практической. А там Вы уже самостоятельно заблокируете поведенческиех

В этом материале по большей степени Вам нужно будет самостоятельно анализировать логи Яндекс метрики (если есть Вебвизор, то логи Вебвизора) и логи сайта.

Посмотрите превью скриншот этого материала, там идут прямые заходы, где время на сайте 0:00. Можно предположить, что мол кто то открыл несколько вкладок и на Вашу в итоге не зашел, но по итогу это боты. Обратите внимание на имя IP-сетей: в нашем случае Net By Net Holding LLC и Biterika Grupp OOO кликните по названиям сетей и почитайте как их блокировать, я уже подробно рассказывал. Ну а что делать если Вы видите аномальные отказы с прямыми заходами вообще с других сетей, ну к примеру из этих:

# (AS44812) IP SERVER LLC

# (AS59504) LLC Vpsville

# (AS204916) Racktech Co. Ltd.

# (AS29182) JSC IOT

# (AS50113) NTX Technologies S.R.O.

# (AS45027) LLC Internet Tehnologii

# (AS60389) Manir LLC

# (AS213220) Delta Ltd

# (AS49492) Mehed Studio LLC

# (AS34665) Petersburg Internet Network Ltd.

# (AS211027) Perfect Cloud Technologies LLC

# (AS56630) Melbikomas UAB

# (AS205125) Network Management Ltd

# (AS204490) Kontel LLC

Как видите у каждой сети есть свой AS номер в сети интернет (что такое ASN — нажми сюда). Я уже не раз писал их номера, но как узнать этот ASN номер?

Как узнать ASN номер ботовой сети?

Все просто, заходите в гугл и пишите к примеру: Net By Net Holding LLC AS info — где Net By Net Holding LLC, название IP-сети из яндекс метрике. Гугл нам сразу подсказывает:

Получается что у этой сети номер в интернете AS 42420, но есть еще и старый AS 12714.

Можно еще так искать по запросу: Net By Net Holding LLC RIPE

Вот пример результата:

Теперь, зная номер ASN можно с легкость написать правило блокировки.  Но в примере выше, мы нашли 2 ASN сети, какую блокировать? Тут два варианта:

1. Метод тыка. Блочим одну, смотрим. Если нет результата — блочим вторую, смотрим так же потом через время Вебвизор.
2. Более грамотный подход, это сравнить данные по вебвизору и по логам Вашего сайта (если включено логирование).

Условно: у Вас есть заход прямой на сайт в 7:00 утра, из какой нибудь спамной сети. Открываете логи Вашего сайта и ищите заход в 7:00 утра, а именно нужен IP адрес. Если предварительно Вы подключите Cloudflare — затем логирование прямых заходов, подождете пару часов и на анализе подобных логов сделает выбору, то Вы сразу в клауде увидите и айпи и AS номер сети.

В логах же сайта будет примерно следующая информация:

185.158.115.229 — — [10/Jan/2024:07:00:46 +0300] «GET /favicon.ico HTTP/1.1» 301 162 «-» «Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.61 Safari/537.36»

Конечно в клауде легче читать логи. И если у Вас нет клауда, то теперь нужно пробить айпи и узнать номер AS сети.

Заходите на сайт 2IP — пробить айпи и пробиваете:

В моем случае айпи, который я ввёл, принадлежит сети под номером ASN 44812. Можно нажать на синий номер AS и нас перекинет на страницу AS:

А ниже уже можно перейти на домашнюю страницу и увидеть что сервис представляет выделенные сервера, там размещаются сайты, боты, но никак не пользователи или провайдеры.

Как заблокировать ботов, где время на сайте 0:00

Получается, зная номер AS сети, с помощью Cloudflare мы теперь можем заблокировать Ваш вид ботов. Смотрите, в качестве примера выше мы рассмотрели хостинг сервис, который сдает в аренду свои мощности, реальных клиентов там не будет (только если менее 1% кто установить личный VPN, купи у них в аренду мощности). Поэтому вот такую сеть, можно полностью блокировать. Я уже показывал как это делать в рамках Cloudflare здесь: Что за Biterika Grupp OOO AS 35048 — как заблокировать ботов на сайте? Что за боты с сети Битерики?

По такому же принципу блокируете и эту сеть, например: (ip.geoip.asnum in {44812})

Если же спамная сеть у Вас с отказами и временем на сайте 0:00 — это какой то крупный провайдер (Билайн, Мегафон, МТС, Теле2), то используйте точечную блокировку с помощью капчи (галочки) Cloudflare — в таком случае боты не пройдут, а реальные пользователи всегда пройдут, пример такой блокировки рассказ вот здесь:

Боты Net By Net Holding LLC в метрике — кто это и как заблокировать AS12714 (PJSC MegaFon) через Cloudflare

Так же можно под проверку сделать нужные Вам страницы, если боты идут на какую то определенную страницу. Если Вы дочитали до этого момента и у Вас нет желания бороться с ботами самостоятельно, это действительно занимает много времени на анализ логов и настройку защиты, то Вы можете заказать защиту Вашего сайта под ключ у меня.

Специальное предложение по защите сайта

Если Вам нужно быстрое и грамотное подключение Cloudflare с защитой от разных ботов, воспользуйтесь специальным предложением.

Я надеюсь материал кому-то пригодится и он сможет самостоятельно заблокировать поведенческих ботов на своем сайте. Всем желаю большого и качественного трафика!