Сайт очень сыльно грузят боты. Или как убить ботов?
Когда вы дошли до момента что роботы начали грузиь Ваш сайт - это признак что ресур стал популярным для поисковиков. Но в этом и минус - все роботы мира начинают туда лезьть и анализировать - тем самим нагружая процесор.
Тоисть если хостинг говорит - что выросла нагрузка на процесор проверяйте логи - и смотрите количество посещений роботами.
Для Гугла заходим сюда - https://www.google.com/webmasters/tools/settings
Для Яндекса - заходим в Веб мастер - Индексирование - Скорость обхода.
1. Через .htaccess (на каждом хостинге настройки свои!)
# Блокируем по Айпи:
Deny from 109.238.247.83
Deny from 84.117.149.169
RewriteEngine On
# блокируем по названию:
# Запрет боту майл.ру
RewriteCond %{HTTP_USER_AGENT} ^Mail.Ru/1.0$
RewriteRule .* - [G]
или
RewriteCond %{HTTP_USER_AGENT} ".*Mail.ru bot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*AhrefsBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*SemrushBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*MJ12bot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Riddler.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*aiHitBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*trovitBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Detectify.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*BLEXBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*dotbot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*FlipboardProxy.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*rogerBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*MegaIndex\.ru/2\.0.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Serpstatbot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Bingbot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Grapeshot Crawler.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*LinkpadBot.*"
RewriteRule ".*" "-" [F]
Если вам нужно заблокировать не отдельные IP-адреса, а подсеть IP-адресов (некий диапазон), сначала определите нужное значение с помощью безклассовой адресации CIDR (калькулятор IP-диапазона в CIDR).
2. Через robots.txt (как правило роботы его игнорируют ):
User-agent: SemrushBot
Disallow: /
User-agent: Ahrefsbot
Disallow: /
User-agent: Riddler
Disallow: /
User-agent: aiHitBot
Disallow: /
User-agent: trovitBot
Disallow: /
User-agent: Exabot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: Baiduspider
Disallow: /
User-agent: Mail.RU_Bot
Disallow: /
User-agent: Mail.ru bot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: Grapeshot Crawler
Disallow: /
User-agent: Bingbot
Disallow: /
User-agent: Serpstatbot
Disallow: /
User-agent: MegaIndex
Disallow: /
User-agent: dotbot
Disallow: /