» » » robots.txt популярные дерективы
6 0  

robots.txt популярные дерективы

Наиболее популярные дерективы для команд в файле - robots.txt

1. Задать Яндексу обращатся к сайту не более чем 1 раз на 60 секунд:

Crawl-delay: 60

Оставить свой комментарий:

Опыт в веб разработке:

2009
2010
2011
2012
2013
2014
2015
2016
2017
2018
2019
2020
2021
2022
2023
2024
2025
2026
2027
2028
1979
2019