Сегодня пойдет речь про AS сеть под номером 8075. В прошлом материале я говорил про «Biterika Grupp OOO? Как её заблокировать и что такое ASN.»
Содержание
Скорее всего в Яндекс метрике Вы могли наблюдать заходы с сети под названием: MICROSOFT-CORP-MSN-AS-BLOCK.
ASN 8075 относится к Microsoft Corporation. ASN (Autonomous System Number) — это уникальный числовой идентификатор, присваиваемый автономной системе (AS) в сети Интернет. Microsoft использует ASN 8075 для своих сетевых операций, предоставляя различные онлайн-сервисы, облачные решения и другие продукты.
Сеть принадлежит microsoft.com, с нее идут как хорошие заходы от поискового бота Bing:
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36
Так и плохие, вот пример плохого User agent`а нашумевшего ChatGPT бота, который может очень часто заходить на сайт, анализировать / копировать Ваш контент:
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
Вот расшифровка:
Это строка user-agent браузера, которая представляет собой идентификацию агента пользователя, отправляемую веб-браузером при каждом HTTP-запросе. В данном случае:
Mozilla/5.0
указывает на то, что браузер использует формат строки user-agent, схожий с тем, который использовал Mozilla Firefox в прошлом.AppleWebKit/537.36 (KHTML, like Gecko)
указывает на движок рендеринга, который используется браузером. В данном случае, это WebKit, который также используется в Safari.compatible
говорит о том, что браузер совместим с определенными стандартами.ChatGPT-User/1.0
является идентификатором пользователя или версией программного обеспечения. В данном случае, это предполагает, что запрос сделан от имени пользователя ChatGPT версии 1.0.+https://openai.com/bot
— это дополнительная информация, указывающая на источник или цель запроса. В данном случае, указан URL, который, вероятно, связан с ботом ChatGPT и ведет на веб-сайт OpenAI.Эта строка может быть использована для идентификации и анализа того, какие клиенты или программы выполняют запросы к веб-серверу.
И таких обращений в логах Вашего сайта может быть несколько тысяч, если не десятков. Такой бот не несет никакой пользы для Вашего сайта, а только нагружает Ваш сервер.
Интересное: У меня был клиент у которого изначально была DDos-атака и он попросил сделать временные правила (для переноса сайта на другой сервер), чтобы поисковики проходили, а остальные шли в блок. Попросил, сделал. Через пару дней пишет клиент что серверу опять плохо. Тут я уже решил разобраться в самом сайте и какие идут обращения, оказалось что из сети 8075 обращались боты на главную страницу сайта в минуту около 5000 раз. Из за этого весь сервер падал. Пользовательские агенты, как у реальных пользователей.
Пришлось писать временное подобное правило:
Прошло три дня и у клиента все хорошо.
Плохая ли сеть AS 8075 MICROSOFT?
Раньше оттуда шли только хорошие поисковые роботы, которые индексировали сайт для поисковой системы Bing. Сейчас из этой сети может идти спамный трафик, есть подсети, на которых размещаются сайты клиентов, а значит там же размещаются боты, краулеры и другой бесполезный мусорный трафик. Поэтому если у Вас появились боты из AS 8075 сети, то требуется предпринимать меры.
Как защитить сайт от плохих ботов из сети Microsoft?
Для меня, плохие боты — это те, что не принесут нам монетизации и трафика. К плохим ботам из AS8075 относятся:
- ChatGPT бот — который парсит и анализирует Ваш сайт, количество заходов за сутки у меня в моменте было около 100к обращений;
- Боты с фейк юзер агентом, которые обращаются очень часто к одной странице и роняют сайт;
- Возможно еще какие то SEO сервисы, которые используют айпи адреса этой сети, я не использую SEO анализаторы, но и их можно всегда добавить в исключения.
Правила защиты от ботов для Cloudflare
Как вариант сделать такое правило: если сеть содержит номер 8075 и User Agent не содержит совпадение по «bing», то идет блокировка.
Ниже кодовый вариант:
(ip.geoip.asnum in {8075} and not http.user_agent contains "bing")
Как выглядит в визуальном редакторе:
Можно и не блокировать заходы, которые не относятся к поисковику Bing, а просто заблокировать ChatGPT.
Как заблокировать ChatGPT бота на сайте через Cloudflare
Правило работает так: если переход из ASN сети с номером 8075 и User Agent содержит openai.com (можно и что то другое общее — например ChatGPT), то блокируем.
Вот пример пользовательского агента Чат гпт бота — Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
(ip.geoip.asnum in {8075} and http.user_agent contains "openai.com")
вот код правила.
Специальное предложение по защите сайта
Если Вам нужно быстрое и грамотное подключение Cloudflare с защитой от разных ботов, воспользуйтесь специальным предложением.
+ 5% комиссия сервиса Kwork
Фиксированная цена
+ 5% комиссия сервиса Kwork
Фиксированная цена
+ 5% комиссия сервиса Kwork
Фиксированная цена
А какие плохие боты посещают Ваш сайт? Поделитесь информацией ниже, возможно я смогу Вам подсказать, как бороться с ними!