Файл robots txt для сайта - зачем он нужен?

Файл robots.txt необходим для каждого сайта. В этом файле указываются строгие инструкции роботам поисковых систем (какие страницы сайта ему можно посещать и включать в индекс, а какие нельзя). Именно этот файл робот загружает в первую очередь при индексации вашего сайта.

Находиться файл robots.txt должен в основном каталоге с файлами вашего сайта и быть доступным по адресу: http://nubex.ru/robots.txt, где nubex.ru - доменное имя вашего сайта.

Теперь рассмотрим как выглядит правильный robots.txt.

Составление правильного файла robots.txt

Если ваш сайт еще находится в разработке и вы не готовы пока отдавать его на индексирование поисковым системам, можно полностью закрыть индексацию вашего сайта. В таком случае правильный robots.txt надо составить следующим образом:

User-agent: *
Disallow: /

Первая строка определяет для каких поисковиков предназначены данные инструкции (* указывает, что инструкции написаны для всех поисковых роботов). Вторая строка означает, что индексация полностью запрещена (указан корневой каталог /).

Помимо указанных выше параметров (их называют директивы), robots.txt может содержать и другие:

• Allow - позволяет индексировать указанную директорию роботу поисковой системы;
• Sitemap - указывает на расположение карты сайта;
• Host - указывает предпочтительное доменное имя сайта (при наличии зеркал, например, версии сайта с www и без);
• Crawl-delay - указывает на задержку при индексировании (используется для снижения нагрузки на сервер).

Рассмотрим теперь пример составления файла robots.txt с использованием указанных выше директив:

User-Agent: *
Disallow: /admin
Crawl-delay: 3
Host: nubex.ru

Sitemap: http://nubex.ru/sitemap.xml

Поисковый робот, прочитав такой файл, проиндексирует весь сайт кроме страниц, имеющих адрес nubex.ru/admin/*, с задержкой в 3 секунды. Также робот поймет, что основное зеркало сайта - это nubex.ru и узнает адрес расположения карты сайта.

В конструкторе сайтов "Нубекс" можно редактировать файл robots.txt непосредственно в админ-панели (раздел Настройки -> Общие SEO параметры).