robot.txt
Поисковые сервера всегда перед индексацией вашего ресурса ищут в корневом каталоге вашего домена файл с именем
"robots.txt" (http://www.mydomain.com/robots.txt).
Этот файл (robots.txt) сообщает роботам (паукам-индексаторам), какие файлы они могут индексировать, а какие нет.
robots.txt - должен создаваться в текстовом формате Unix.
Директивы - команды для robot.txt:
Всем роботам можно индексировать весь сайт:
User-agent: *
Disallow:
Полностью запрещает индексацию!:
User-agent: *
Disallow: /
запрещает всем роботам заходить в каталоги "cgi-bin" і "images":
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Запрещает роботу Roverdog индексировать все файлы сервера:
User-agent: Roverdog
Disallow: /
Запрещает роботу googlebot индексировать только файл cheese.htm:
User-agent: googlebot
Disallow: cheese.htm
Если яндекс индексирует страницы с метками типа ?source=vk.com:
User-agent: Yandex
Disallow:
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&yclid