Мы продолжаем рассказывать о продвижении молодого сайта. В этой части вас ждет немного технических подробностей.
1. Robots.txt: что это такое и как его создать
Для того, чтобы поисковые машины могли успешно изучить (и проиндексировать) сайт, существует специальный файл — robots.txt. Он размещается в корневом каталоге вашего сайта и содержит указания для поисковых роботов в виде директив, в которых говорится, как они должны индексировать ваш сайт.
Вы можете самостоятельно составить код для robots. txt и указать в нем, по каким страницам должен пройти поисковый робот, а какие страницы ему следует проигнорировать. «Яндекс» поможет вам подробной инструкцией. Когда файл будет готов, разместите его в корневой папке сайта или попросите о таком размещении разработчика.
— А что будет, если я оставлю robots.txt пустым? Будет ли сайт проиндексирован?
— Если в вашем файле robots.txt, нет ничего, кроме пустоты, сайт все равно будет проиндексирован. Но при этом поисковый робот пройдется абсолютно по всем страницам сайта: даже по тем, которые вы бы хотели скрыть от индексации.
2. Немного о зеркалах
Когда вы разобрались с robots. txt, самое время заняться зеркалами сайта. Зеркала — это одинаковые сайты, размещенные по разным адресам (то есть, те сайты, у которых не совпадают доменные имена). Они возникают, если у вашего сайта есть несколько доменов: например, для одного сайта могут быть зарегистрированы доменные имена: company.ru, www.company.ru, my_company.ru и www.my-company.ru. По каждому из них будет показываться один и тот же сайт. Однако если вы не указали, какой из этих доменов является главным, поисковик будет воспринимать их как три разных сайта. Соответственно, и продвигать вам придется четыре разных сайта.
Чтобы этого избежать, вам нужно настроить главное зеркало — то есть, указать, какой из доменов сайта является основным, а какие просто его дублируют. Это прописывается в robots.txt, в настройках «Вебмастера» или с помощью 301 редиректа со всех зеркал на главное зеркало. Например, если вашим главным зеркалом является домен company.ru, то вы настраиваете 301 редирект на company.ru с www.company.ru, my_company.ru и www.my-company.ru.
Самое главное — не игнорируйте эти технические моменты. Эти действия немногим сложнее работы с аккаунтом в соцсетях, но польза от них будет ощутимая. А вы с гордостью сможете говорить коллегам и конкурентам, что продвижением сайта занимаетесь самостоятельно. И это будет чистая правда.
Остальные статьи из цикла про продвижение:
- Часть 1. Общие рекомендации
- Часть 3. Оптимизация сайта (SEO)
- Часть 4. Работа со ссылками
- Часть 5. Работа с соцсетями и сообществами