Когда вы дошли до момента что роботы начали грузиь Ваш сайт - это признак что ресур стал популярным для поисковиков. Но в этом и минус - все роботы мира начинают туда лезьть и анализировать - тем самим нагружая процесор. Тоисть если хостинг говорит - что выросла нагрузка на процесор проверяйте логи - и смотрите количество посещений роботами.

Чтобы задать кеш для рисунков и скриптов достаточно изминить в корне сайта, файл .htaccess. Нужно помнить что на Вашем сервере могут быть другие способы настройки кеширования..

С каждым днем в сети становится все больше ботов, которые иногда составляют 200% посетителей вашего сайта. Проблема заключается в том, что роботов иногда зацикливает, или они не могут перейти по ссылке и тогда начинается ...