Алена СавчукАлена СавчукКонтент-менеджер

Продвигаем молодой сайт. Часть 2. Настройка индексации сайта

Мы продолжаем рассказывать о продвижении молодого сайта. В этой части вас ждет немного технических подробностей.

1. Robots.txt: что это такое и как его создать

Для того, чтобы поисковые машины могли успешно изучить (и проиндексировать) сайт, существует специальный файл — robots.txt. Он размещается в корневом каталоге вашего сайта и содержит указания для поисковых роботов в виде директив, в которых говорится, как они должны индексировать ваш сайт.

Вы можете самостоятельно составить код для robots. txt и указать в нем, по каким страницам должен пройти поисковый робот, а какие страницы ему следует проигнорировать. «Яндекс» поможет вам подробной инструкцией. Когда файл будет готов, разместите его в корневой папке сайта или попросите о таком размещении разработчика.

— А что будет, если я оставлю robots.txt пустым? Будет ли сайт проиндексирован?

— Если в вашем файле robots.txt, нет ничего, кроме пустоты, сайт все равно будет проиндексирован. Но при этом поисковый робот пройдется абсолютно по всем страницам сайта: даже по тем, которые вы бы хотели скрыть от индексации.

2. Немного о зеркалах

Когда вы разобрались с robots. txt, самое время заняться зеркалами сайта. Зеркала — это одинаковые сайты, размещенные по разным адресам (то есть, те сайты, у которых не совпадают доменные имена). Они возникают, если у вашего сайта есть несколько доменов: например, для одного сайта могут быть зарегистрированы доменные имена: company.ru, www.company.ru, my_company.ru и www.my-company.ru. По каждому из них будет показываться один и тот же сайт. Однако если вы не указали, какой из этих доменов является главным, поисковик будет воспринимать их как три разных сайта. Соответственно, и продвигать вам придется четыре разных сайта.

Чтобы этого избежать, вам нужно настроить главное зеркало — то есть, указать, какой из доменов сайта является основным, а какие просто его дублируют. Это прописывается в robots.txt, в настройках «Вебмастера» или с помощью 301 редиректа со всех зеркал на главное зеркало. Например, если вашим главным зеркалом является домен company.ru, то вы настраиваете 301 редирект на company.ru с www.company.ru, my_company.ru и www.my-company.ru.

Самое главное — не игнорируйте эти технические моменты. Эти действия немногим сложнее работы с аккаунтом в соцсетях, но польза от них будет ощутимая. А вы с гордостью сможете говорить коллегам и конкурентам, что продвижением сайта занимаетесь самостоятельно. И это будет чистая правда.

Остальные статьи из цикла про продвижение:

Комментарии 1