Главная » SEO » Оптимизация сайта » robots.txt популярные дерективы
84 0  

robots.txt популярные дерективы

Наиболее популярные дерективы для команд в файле - robots.txt

1. Задать Яндексу обращатся к сайту не более чем 1 раз на 60 секунд:

Crawl-delay: 60

2. Полная блокировка сайта для всех роботов

User-agent: * 
Disallow: /

3. полный доступ всем:

User-agent: *
Allow: /

4. скрыть отдельную страницу:

User-agent: *
Disallow: /private_file.html

5. запрещаем сканировать каталог:

User-agent: *
Disallow: /calendar/


ресурсы:
 - Смотреть азы

- Более продвинутая настройка


Оставить свой комментарий:

Опыт в веб разработке:

2009
2010
2011
2012
2013
2014
2015
2016
2017
2018
2019
2020
2021
2022
2023
2024
2025
2026
2027
2028
1979
2020