Наиболее частой проблемой в програме Offline Explorer Enterprise при настройке исключений для скачивания этой програмы есть такие правила или макросы. добавить исключения URL {: } запрет скачивания определеных адресов правила обработки URL
Здесь я буду оставлять заметки о том как я продвигал в США и Канаде сайт- сонник (Каталог снов dreammoods.net). Порядок действий и на то нужно обращать внимание + полученые результаты по временни.
Поисковые сервера всегда перед индексацией вашего ресурса ищут в корневом каталоге вашего домена файл с именем "robots.txt" (http://www.mydomain.com/robots.txt).