Страница ошибка должна отдавать принудительный статус хедер ответ 404 для страницы ошибки! Но в зависимости от настройки сервера не всегда это возможно. Здесь пойдет речь именно о том как настроить с помощью кода PHP.
JSON-LD — это только один из способов микроразметки для быстрой разметки, но если на вашем сайте уже внедрена микроразметка в html тегах и в поиске отображаются расширенные сниппеты, не стоит проводить лишнюю работу и переходить на JSON-LD - хотя Google рекомендует использовать именно ее, а вот Яндекс еще не понимает json.
Например нужно исключить сайт - - исключение пишется как: *apache* Наиболее частой проблемой в програме Offline Explorer Enterprise при настройке исключений для скачивания этой програмы есть такие правила или макросы. добавить исключения URL {: } запрет скачивания определеных адресов правила обработки URL
Здесь я буду оставлять заметки о том как я продвигал в США и Канаде сайт- сонник (Каталог снов dreammoods.net). Порядок действий и на то нужно обращать внимание + полученые результаты по временни.
Поисковые сервера всегда перед индексацией вашего ресурса ищут в корневом каталоге вашего домена файл с именем "robots.txt" (http://www.mydomain.com/robots.txt).