Главная » SEO » Оптимизация на стороне сервера » Сайт очень сыльно грузят боты. Или как убить ботов?
572 0  

Сайт очень сыльно грузят боты. Или как убить ботов?

Когда вы дошли до момента что роботы начали грузиь Ваш сайт - это признак что ресур стал популярным для поисковиков. Но в этом и минус - все роботы мира начинают туда лезьть и анализировать - тем самим нагружая процесор.
Тоисть если хостинг говорит - что выросла нагрузка на процесор проверяйте логи - и смотрите количество посещений роботами.

Для Гугла заходим сюда - https://www.google.com/webmasters/tools/settings


Для Яндекса - заходим в Веб мастер - Индексирование - Скорость обхода.


1. Через .htaccess (на каждом хостинге настройки свои!)

# Блокируем по Айпи:
Deny from 109.238.247.83
Deny from 84.117.149.169

RewriteEngine On

# блокируем по названию:

# Запрет боту майл.ру
RewriteCond %{HTTP_USER_AGENT} ^Mail.Ru/1.0$
RewriteRule .* - [G]

или 

RewriteCond %{HTTP_USER_AGENT} ".*Mail.ru bot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*AhrefsBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*SemrushBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*MJ12bot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Riddler.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*aiHitBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*trovitBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Detectify.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*BLEXBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*dotbot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*FlipboardProxy.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*rogerBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*MegaIndex\.ru/2\.0.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Serpstatbot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Bingbot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Grapeshot Crawler.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*LinkpadBot.*"
RewriteRule ".*" "-" [F]

 

Если вам нужно заблокировать не отдельные IP-адреса, а подсеть IP-адресов (некий диапазон), сначала определите нужное значение с помощью безклассовой адресации CIDR (калькулятор IP-диапазона в CIDR).


- список всех ботов говняшек


2. Через robots.txt (как правило роботы его игнорируют wink):

User-agent: SemrushBot
Disallow: /

User-agent: Ahrefsbot
Disallow: /

User-agent: Riddler
Disallow: /

User-agent: aiHitBot
Disallow: /

User-agent: trovitBot
Disallow: /

User-agent: Exabot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: Baiduspider
Disallow: /

User-agent: Mail.RU_Bot
Disallow: /

User-agent: Mail.ru bot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: Grapeshot Crawler
Disallow: /

User-agent: Bingbot
Disallow: /

User-agent: Serpstatbot
Disallow: /

User-agent: MegaIndex
Disallow: /

User-agent: dotbot
Disallow: /





Оставить свой комментарий:

Опыт в веб разработке:

2009
2010
2011
2012
2013
2014
2015
2016
2017
2018
2019
2020
2021
2022
2023
2024
2025
2026
2027
2028
1979
2021