Как создать файл robots.txt

Категории: Ведение блога

Создавать этот файл не так-то и сложно. Это обычный файл текстового формата, служащий для того, чтобы указать поисковикам правильное зеркало вашего домена (либо с WWW, либо без). В файле вам нужно прописать правила для поисковиков и отправить его в корневую папку вашего сайта. При этом у него будет адрес: заголовок вашего сайта/robots.txt. 

В Вордпрессе изначально такой файл отсутствует. Чтобы это исправить надо создать его в Notepad++, вставить нужный код, обозвать файл robots.txt и отправить в корневую папку вашего хостинга.

На заметку: Компания Теплосила Москва произведет работы по утеплению, огнезащите и гидроизоляции ваших построек.

Файл просматривается на любом сайте, что позволит вам сравнить файлы у раскрученных сайтов. Но, идеальных файлов robot.txt не существует, время от времени их нужно дополнять и корректировать.

С помощью файла можно задать поисковикам определенный интервал времени между индексацией контента на сервере. Установка паузы в работе с поисковиками от Google и Yandex может вызвать проблемы с индексацией.

Также не допускайте пустых строк между директивами User-agent и Disallow, так как поисковики расценят это как конец правил.

Символ “звездочка” в файле robots.txt означает последовательность различных символов.

google.com bobrdobr.ru del.icio.us technorati.com linkstore.ru news2.ru rumarkz.ru memori.ru moemesto.ru
Теги:

Если вам понравился пост, вы можете оставить комментарий или подписаться на RSS и получать каждый новый пост из этого блога.