Файл Sitemap выполняет роль карты сайта. После загрузки файла robots.txt поисковый бот загружает карту сайта, если таковая имеется (подробнее о файле robots.txt вы можете узнать из статьи: Файл robots.txt).
Карта сайта XML позволяет роботу найти все необходимые страницы для последующей индексации. Файл Sitemap имеет расширение XML и представляет собой документ, который содержит дерево XML-тегов. Располагаться карта сайта должна, как и файл robots.txt, в основном каталоге сайта и быть доступной по адресу: http://nubex.ru/sitemap.xml, где nubex.ru - адрес вашего сайта.
Примерно так должна выглядеть XML карта сайта:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://nubex.ru/blog/seryozha_siroezhkin/robots_txt/</loc>
<lastmod>2015-06-02</lastmod>
<priority>0.3</priority>
</url>
<url>
<loc>http://nubex.ru/blog/seryozha_siroezhkin/viewport/</loc>
<lastmod>2015-06-02</lastmod>
<priority>0.3</priority>
</url>
</urlset>Здесь в качестве примера приведены две ссылки в файле Sitemap.xml.
Структура файла Sitemap.xml
Карта сайта может содержать следующие теги:
- urlset - используется для указания текущего стандарта;
- url - является контейнером для каждой из записей об адресе страницы;
- loc - указывает непосредственно URL-адрес страницы;
- lastmod - служит для обозначения даты последнего изменения карты сайта;
- changefreq - определяет частоту изменения указанной страницы (yearly, monthly, daily и т.д);
- priority - позволяет вам определить приоритет страницы по отношению к другим страницам на вашем сайте.
Последние три тега являются необязательными при генерации карты сайта.
Как создать карту сайта
Конечно, самый очевидный вариант создания карты сайта - прописать всё руками. Но этот подход неплох, если на вашем сайте несколько страниц. А если число страниц на вашем сайте регулярно растет? И этот случай наиболее распространен. Поэтому нужно задуматься об автоматической генерации файла Sitemap.xml.
Для популярных CMS есть большое количество плагинов для генерации карты сайта. Например, для Wordpress один из популярных плагинов - Google XML Sitemaps. Для сайтов без CMS существуют платные и бесплатные веб-сервисы, которые позволяют сгенерировать карту сайта автоматически.
В конструкторе сайтов "Нубекс" файл Sitemap.xml генерируется и обновляется автоматически и в файл robots.txt добавляется адрес карты сайта.