» » » Сайт очень сыльно грузят боты. Или как убить ботов?
7 0  

Сайт очень сыльно грузят боты. Или как убить ботов?

Когда вы дошли до момента что роботы начали грузиь Ваш сайт - это признак что ресур стал популярным для поисковиков. Но в этом и минус - все роботы мира начинают туда лезьть и анализировать - тем самим нагружая процесор.
Тоисть если хостинг говорит - что выросла нагрузка на процесор проверяйте логи - и смотрите количество посещений роботами.

1. Через .htaccess (на каждом хостинге настройки свои!)

RewriteEngine On

# Відсікаємо БОТІВ
RewriteCond %{HTTP_USER_AGENT} ".*AhrefsBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*SemrushBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*MJ12bot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Riddler.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*aiHitBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*trovitBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Detectify.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*BLEXBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*dotbot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*FlipboardProxy.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*rogerBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*MegaIndex\.ru/2\.0.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Serpstatbot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Bingbot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Mail.ru bot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Grapeshot Crawler.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*LinkpadBot.*"
RewriteRule ".*" "-" [F]


2. Через robots.txt (как правило роботы его игнорируют wink):

User-agent: SemrushBot
Disallow: /

User-agent: Ahrefsbot
Disallow: /

User-agent: Riddler
Disallow: /

User-agent: aiHitBot
Disallow: /

User-agent: trovitBot
Disallow: /

User-agent: Exabot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: Baiduspider
Disallow: /

User-agent: Mail.RU_Bot
Disallow: /

User-agent: Mail.ru bot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: Grapeshot Crawler
Disallow: /

User-agent: Bingbot
Disallow: /

User-agent: Serpstatbot
Disallow: /

User-agent: MegaIndex
Disallow: /

User-agent: dotbot
Disallow: /





Оставить свой комментарий:

Опыт в веб разработке:

2009
2010
2011
2012
2013
2014
2015
2016
2017
2018
2019
2020
2021
2022
2023
2024
2025
2026
2027
2028
1979
2019