Главная страница » Что за спамная 8075 ASN сеть? Как заблокировать ботов ChatGPT, Microsoft — AS8075 MICROSOFT-CORP-MSN-AS-BLOCK?

Что за спамная 8075 ASN сеть? Как заблокировать ботов ChatGPT, Microsoft — AS8075 MICROSOFT-CORP-MSN-AS-BLOCK?

AS 8075 сеть, боты, chatGPT, Microsoft

Сегодня пойдет речь про AS сеть под номером 8075. В прошлом материале я говорил про «Biterika Grupp OOO? Как её заблокировать и что такое ASN.»

Скорее всего в Яндекс метрике Вы могли наблюдать заходы с сети под названием: MICROSOFT-CORP-MSN-AS-BLOCK.

ASN 8075 относится к Microsoft Corporation. ASN (Autonomous System Number) — это уникальный числовой идентификатор, присваиваемый автономной системе (AS) в сети Интернет. Microsoft использует ASN 8075 для своих сетевых операций, предоставляя различные онлайн-сервисы, облачные решения и другие продукты.

ASN 8075 MICROSOFT-CORP-MSN-AS-BLOCK

Сеть принадлежит microsoft.com, с нее идут как хорошие заходы от поискового бота Bing:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36

Так и плохие, вот пример плохого User agent`а нашумевшего ChatGPT бота, который может очень часто заходить на сайт, анализировать / копировать Ваш контент:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot

Вот расшифровка:

Это строка user-agent браузера, которая представляет собой идентификацию агента пользователя, отправляемую веб-браузером при каждом HTTP-запросе. В данном случае:

  • Mozilla/5.0 указывает на то, что браузер использует формат строки user-agent, схожий с тем, который использовал Mozilla Firefox в прошлом.
  • AppleWebKit/537.36 (KHTML, like Gecko) указывает на движок рендеринга, который используется браузером. В данном случае, это WebKit, который также используется в Safari.
  • compatible говорит о том, что браузер совместим с определенными стандартами.
  • ChatGPT-User/1.0 является идентификатором пользователя или версией программного обеспечения. В данном случае, это предполагает, что запрос сделан от имени пользователя ChatGPT версии 1.0.
  • +https://openai.com/bot — это дополнительная информация, указывающая на источник или цель запроса. В данном случае, указан URL, который, вероятно, связан с ботом ChatGPT и ведет на веб-сайт OpenAI.

Эта строка может быть использована для идентификации и анализа того, какие клиенты или программы выполняют запросы к веб-серверу.

И таких обращений в логах Вашего сайта может быть несколько тысяч, если не десятков. Такой бот не несет никакой пользы для Вашего сайта, а только нагружает Ваш сервер.

Интересное: У меня был клиент у которого изначально была DDos-атака и он попросил сделать временные правила (для переноса сайта на другой сервер), чтобы поисковики проходили, а остальные шли в блок. Попросил, сделал. Через пару дней пишет клиент что серверу опять плохо. Тут я уже решил разобраться в самом сайте и какие идут обращения, оказалось что из сети 8075 обращались боты на главную страницу сайта в минуту около 5000 раз. Из за этого весь сервер падал. Пользовательские агенты, как у реальных пользователей.

Пришлось писать временное подобное правило:

Блокировка ASN 8075 только главной страницы

Прошло три дня и у клиента все хорошо.

Плохая ли сеть AS 8075 MICROSOFT?

Раньше оттуда шли только хорошие поисковые роботы, которые индексировали сайт для поисковой системы Bing. Сейчас из этой сети может идти спамный трафик, есть подсети, на которых размещаются сайты клиентов, а значит там же размещаются боты, краулеры и другой бесполезный мусорный трафик. Поэтому если у Вас появились боты из AS 8075 сети, то требуется предпринимать меры.

Как защитить сайт от плохих ботов из сети Microsoft?

Для меня, плохие боты — это те, что не принесут нам монетизации и трафика. К плохим ботам из AS8075 относятся:

  • ChatGPT бот — который парсит и анализирует Ваш сайт, количество заходов за сутки у меня в  моменте было около 100к обращений;
  • Боты с фейк юзер агентом, которые обращаются очень часто к одной странице и роняют сайт;
  • Возможно еще какие то SEO сервисы, которые используют айпи адреса этой сети, я не использую SEO анализаторы, но и их можно всегда добавить в исключения.

Правила защиты от ботов для Cloudflare

Как вариант сделать такое правило: если сеть содержит номер 8075 и User Agent не содержит совпадение по «bing», то идет блокировка.
Ниже кодовый вариант:

(ip.geoip.asnum in {8075} and not http.user_agent contains "bing")

Как выглядит в визуальном редакторе:

Правило по защите сайта от ботов Microsoft

Можно и не блокировать заходы, которые не относятся к поисковику Bing, а просто заблокировать ChatGPT.

Как заблокировать ChatGPT бота на сайте через Cloudflare

Правило работает так: если переход из ASN сети с номером 8075 и User Agent содержит openai.com  (можно и что то другое общее — например ChatGPT), то блокируем.
Вот пример пользовательского агента Чат гпт бота — Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot

Блокировка ChatGPT cloudflare

(ip.geoip.asnum in {8075} and http.user_agent contains "openai.com") вот код правила.

Специальное предложение по защите сайта

Если Вам нужно быстрое и грамотное подключение Cloudflare с защитой от разных ботов, воспользуйтесь специальным предложением.

Сэкономьте 10% при сотрудничестве БЕЗ ПОСРЕДНИКА
Цены через KWORK
БЕЗ ПОСРЕДНИКА
9000

+ 5% комиссия сервиса Kwork

ЭКОНОМЗащита от ботов, атак и спама + подключение Cloudflare + 30 дней поддержки - (добавление новых правил защиты).
  • Дополнительно:- 30 дней поддержки защиты по завершению услуги

    - Анализ Яндекс метрики на наличие ботов

    - Общение через Kwork
8100

Фиксированная цена

ЭКОНОМЗащита от ботов, атак и спама + подключение Cloudflare + 30 дней поддержки - (добавление новых правил защиты).
  • Дополнительно:- 30 дней поддержки защиты по завершению услуги

    - Анализ Яндекс метрики на наличие ботов

    - Чат общение через Telegram
14000

+ 5% комиссия сервиса Kwork

СТАНДАРТЭконом + скрытие Sitemap / Robots от лишних глаз (по желанию) + 90 дней поддержки. Консультация и обучение по правилам.
  • Дополнительно:- 90 дней поддержки защиты по завершению услуги

    - Анализ Яндекс метрики на наличие ботов

    - Чат общение через Telegram
12600

Фиксированная цена

СТАНДАРТЭконом + скрытие Sitemap / Robots от лишних глаз (по желанию) + 90 дней поддержки. Консультация и обучение по правилам.
  • Дополнительно:- 90 дней поддержки защиты по завершению услуги

    - Анализ Яндекс метрики на наличие ботов

    - Чат общение через Telegram
19000

+ 5% комиссия сервиса Kwork

БИЗНЕССтандарт + Эконом + VIP поддержка 6 месяцев - обновление защиты, помощь, анализ логов, консультация, созвоны.
  • Дополнительно:- 180 дней поддержки защиты по завершению услуги

    - Анализ Яндекс метрики на наличие ботов

    - Чат + созвоны в Telegram
17100

Фиксированная цена

БИЗНЕССтандарт + Эконом + VIP поддержка 6 месяцев - обновление защиты, помощь, анализ логов, консультация, созвоны.
  • Дополнительно:- 90 дней поддержки защиты по завершению услуги

    - Анализ Яндекс метрики на наличие ботов

    - Чат + созвоны в Telegram

А какие плохие боты посещают Ваш сайт? Поделитесь информацией ниже, возможно я смогу Вам подсказать, как бороться с ними!

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *