Продолжаю вести блог на тему бесполезных ботов, которые портят поведенческие факторы Вашему сайту и понижают его ниже в выдаче Яндекса. Сегодня поговорим про IP-сеть Metropolitan branch of OJSC MegaFon, что это за сеть, кто с нее заходит и нужно ли вообще ее блокировать и если да, то как?
Содержание
Зайдя в метрику, я уверен что все Вы видели переходы с отказами из сети Metropolitan branch of OJSC MegaFon, а если нет — то они выглядят так:
Что примечательно: эти боты заходят на разные URL страницы Вашего сайта, это не как ( Боты Net By Net Holding LLC в метрике — кто это и как заблокировать AS12714 (PJSC MegaFon) через Cloudflare ). Понять что это боты можно, анализируя логи Вашего сайта и метрику, да порой это нудно и долго — но оно того стоит.
В данном примере боты заходили на разные страницы сайта по прямому заходу и с отказами. Это не составило проблемы изучить логи сайта и найти нужный айпи, а затем и номер AS сети. Metropolitan branch of OJSC MegaFon (SONICDUO-AS) принадлежит сеть под номером 25159 (Мобильный оператор Мегафон):
Как заблокировать ботов с Metropolitan branch of OJSC MegaFon
Подобные боты так же могут идти с сетей: Center Branch of OJSC MegaFon, Mobile subscribers pool. Но сегодня речь только о сетке AS 25159. Блокируем так же старым добрым Cloudflare, который позволяет блокировать ПФ ботов без танцев с бубнами.
Важно: нельзя полностью блокировать всю AS 25159 сеть Мегафона. Оттуда идут и настоящие пользователи.
Мы помним, что такие боты идут по прямым заходам, поэтому сделаем обязательную проверку (капчу-галочку) на прямой заход из этой сети.
Заходим в Cloudflare, раздел Security > WAF > Create Rule (создаем правило):
http.referer eq "" and ip.geoip.asnum in {25159})
Кодовый вариант предоставил чуть Выше. Просто нажмите Edit expression и вставьте готовый вариант. Обратите внимание, что мы не полностью блокируем такой трафик, а делаем это через капчу (галочку обязательную). Такой вид ботов, пока что не прожимает галочку, поэтому данный метод защиты является актуальным.
А если у меня Мегафон? Как добавить себя в исключения?
Переходите в раздел Security / WAF / Tools и если у Вас постоянный айпи — добавляете его в исключение, так как показано это на скриншоте:
В этом разделе нет логирования, то есть Вы не увидите куда и когда заходили. Тут так же можно блокировать айпи, ASN сети — но не рекомендую, Вы не увидите лога блокировки и не поймете заблокировали ли Вы спам трафик или нет.
У Мегафона множество AS сетей, сегодня мы рассмотрели всего лишь одну из сетей и как блокировать мусорный трафик, повышая позиции в Яндекс поисковике. Изучите мой блог, чтобы найти другой полезный материал по блокировке поведенческих и других ботов. Материал будет пополняться.