robots.txt популярные дерективы

Наиболее популярные дерективы для команд в файле - robots.txt

1. Задать Яндексу обращатся к сайту не более чем 1 раз на 60 секунд:

Crawl-delay: 60

2. Полная блокировка сайта для всех роботов

User-agent: * 
Disallow: /

3. полный доступ всем:

User-agent: *
Allow: /

4. скрыть отдельную страницу:

User-agent: *
Disallow: /private_file.html

5. запрещаем сканировать каталог:

User-agent: *
Disallow: /calendar/

ресурсы:
 - Смотреть азы

- Более продвинутая настройка