Как создать карту сайта (sitemap.xml)

Зачем нужна карта сайта?

XML-карта сайта нужна для быстрой индексации и переиндексации страниц поисковыми системами. С одной стороны, это не обязательно. Да, поисковой робот может составить список страниц для индексации по внешним ссылкам, а также переходя по меню, внутренним ссылкам и так далее.

Кроме этого, в sitemap.xml можно указать приоритет страниц, указав тем самым, какие страницы поисковая система должна проиндексировать в первую очередь.

А также дату обновления страницы. Это позволяет подсказать поисковой системе, нужно ли переиндексировать страницу, которую ранее робот уже посещал, мог ли контент на странице обновиться.

Важность xml-карты зависит от вашего портала. Если это сайт-визитка примерно на 10-20 страниц, то у поисковых систем не будет проблем с полной индексацией. Но в тоже время, если мы говорим о громадном интернет-магазине, критически важно, чтобы поисковая система узнала о всех наших каталогах, страницах с товарами и так далее. Поэтому нужно помочь им полностью и корректно проиндексировать наш сайт.

Но не забывайте самое главное:

Как создать карту сайта sitemap.xml

Создать XML-карту сайта можно множеством способов, и не пугайтесь, ни один из них не требует навыков программирования. Мы разберем каждый из них ниже.

Среди них нет лучшего или худшего. Выбирайте подходящий способ, в зависимости от ситуации, на какой платформе сделан сайт.

Создание sitemap.xml с помощью модулей для CMS

Если вы используете какую-либо популярную CMS, то для нее уже есть готовые плагины. Достаточно просто установить нужный плагин и настроить его работу.

Создание карты сайта для WordPress

Плагин Google XML Sitemaps, который поможет создать карту url адресов для сайтов на Вордпресс можно скачать по ссылке с официального репозитория WordPress (https://ru.wordpress.org/plugins/google-sitemap-generator/). Либо через поиск плагинов в самом WordPress:

Поиск плагина в репозитории через админку Wordpress

Обратите внимание, что в поиске нужно написать "Auctollo XML Sitemaps", иначе поиск будет выдавать вам другие плагины с похожим функционалом.

Настройки плагина достаточно простые, но на всякий случай, разберем и их.

В первую очередь, включаем уведомление Google о новых страницах, а также добавление ссылки на sitemap.xml в файл robots.txt.

Также советую включить и уведомления для поисковой системы Bing. Особой популярностью в России она не пользуется, но почему бы не добавить, если мы все равно ничего не теряем.

Не забудем установить сжатие:

Настройки базовых параметров плагина XML Sitemap

Далее нужно настроить, какие типы страниц должны отображаться в sitemap.xml.

Это определяется индивидуально для каждого сайта. Здесь нужно выбрать те категории, страницы которых мы планируем продвигать в поисковых системах. Скорее всего, это точно будут:

• Домашняя страница;
• Статьи;
• Статичные страницы.

А остальные категории под вопросом. Все зависит от того, находится ли на них уникальный контент, который вы собираетесь продвигать через SEO. Например, если у вас на странице меток присутствует уникальный контент, то отмечайте и эту категорию тоже.

Но самый распространенный вариант заполнения этого блока, такой:

Кроме этого, мы можем более точно указать, какие страницы должны попадать в индекс поисковых систем, путем исключения неподходящих страниц или категорий.

Для этого используется следующий блок настроек:

Таким образом, мы можем добавить все статьи в карту сайта, но исключить статьи категории "Без рубрики", или конкретные посты, указав их ID через запятую в нижнем блоке под скриншотами.

Помимо этого, мы можем указать, как часто обновляются страницы. Чтобы поисковые системы понимали, нужна ли переиндексация страницам. Но тут важно учитывать, что это скорее совет, а не требования. И поисковой бот может проигнорировать указанные инструкции. Поэтому этот блок можно оставить без внимания.

Настройки частоты обновления страниц по-умолчанию

Последний важный блок настроек, это уровень приоритета страниц. Как нетрудно догадаться, через него мы устанавливаем приоритет для обхода поисковым роботом, на какие страницы он первым делом должен обратить внимание.

Настройки с выбором приоритета страниц

Лучше всего его не изменять, если боитесь ошибиться в приоритете. Но в особых ситуациях он может пригодиться. Например, если вам срочно нужно переиндексировать страницы статей, то можно им поставить наивысший приоритет.

Главное, не забыть потом вернуть стандартные настройки.

Создание карты сайта для Joomla

Плагин OSMap по аналогии с Wordpress, можно скачать с официального репозитория компонентов Joomla (https://extensions.joomla.org/extension/osmap/). Советую использовать именно его, так как он бесплатный, но при этом поддерживается разработчиком (последнее обновление 22 февраля 2021, на момент написания статьи) и имеет высокий рейтинг.

Подробно его разбирать нет необходимости, т.к. все настройки одинаковые для подобных плагинов, а мы их крайне подробно уже разобрали выше.

Создание sitemap.xml с помощью онлайн-сервисов

Главное отличие онлайн-генераторов xml-карты сайта от плагинов для CMS в том, что мы создаем ее вручную, и автоматически она обновляться не будет. Более того, мы получаем sitemap.xml, которую еще нужно самостоятельно загрузить на сервер.

Но в том случае, если на нашем сайте не установлена CMS, а добавить sitemap.xml необходимо, онлайн-генератор будет отличным решением. К тому же, если новые страницы появляются не часто, а их кол-во не превышает 1000, то этого вполне хватит.

Но нужно учитывать, что хоть большинство онлайн-сервисов по генерации карт бесплатные, у них либо есть лимит на кол-во страниц, либо по достижению определенного лимита, дальнейшее сканирование будет стоить денег за каждую дополнительную страницу.

Онлайн-генераторов XML-карт сайтов довольно много, самые популярные из них:

• https://www.xml-sitemaps.com/
• https://xmlsitemapgenerator.org/
• https://www.web-site-map.com/
• https://www.mysitemapgenerator.com/ru/

Значимой разницы между ними нет, все они работают по одному принципу — как и поисковой бот, сканируют сайт, переходя по его ссылкам.

Это тоже можно записать в список минусов, ведь плагин, установленный на CMS, знает все страницы, и точно добавит их в карту. А краулер сервера может и не найти какую-либо страницу, если на нее не будет ссылки.

Но это не особо критичная проблема, учитывая, что если на вашем сайте нет ссылки на важную страницу, то это срочно нужно исправлять.

Кроме online-генераторов XML-карты, можно воспользоваться сервисами по SEO-аудиту сайта. У некоторых их них в качестве одного из доступных инструментов есть генератор XML-карты. Например, у Сайт Репорта (https://tools.saitreport.ru/xml-sitemap-generator).

Создание sitemap.xml с помощью софта

Кроме уже рассмотренных плагинов и онлайн-сервисов, есть еще один тип инструментов, который может решить нашу задачу. Это софт для компьютеров, использующийся главным образом SEO-специалистами. Такие программы позволяют просканировать сайт, собрать информацию о страницах, заголовках, мета-данных и ошибках.

Но так как они сканируют все страницы, то и функционал создания sitemap.xml в них тоже заложен. Есть как бесплатные, так и платные программы. Далее о них и поговорим.

Создание sitemap.xml в Xenu

Полностью бесплатная программа. Основное ее назначение — проверка сайта на битые гиперссылки. Но нас сейчас интересует именно создание карты сайта.

Для этого в верхнем меню программы выбираем File, затем Check URL:

В появившемся окне вписываем URL-адрес и нажимаем OK. Остальные окна заполнять не нужно.

После того, как проверка завершится, снова открываем меню File, только теперь нам нужен пункт Create Google Sitemap file:

Задаем файлу название sitemap.xml и сохраняем. Как подключить такую карту к сайту, рассмотрим ниже, после обзора всех программ.

Создание sitemap.xml в Screaming Frog

Более профессиональная программа, которая предоставляет значительно больше возможностей, чем Xenu. Поэтому она уже условно-бесплатная. Вы можете пользоваться ей бесплатно, но только после сканирования 500 ссылок с одного сайта она останавливает парсинг, а продолжит только после покупки лицензии. Учитывайте, что это не 500 страниц, а именно ссылок. На изображения, скрипты и т.д.

Если сайт небольшой, то этого объема хватит для работы. Платная же версия безлимитна, но стоит £149.00 (фунтов, то есть где-то 15 500 рублей) в год.

Процесс генерации XML-карты в Screaming Frog почти не отличается от Xenu. Вверху посередине программы строка для указания URL-адреса:

Вводим и нажимаем на Start и ждем окончания парсинга. После этого в верхнем меню выбираем пункт Advanced Export, затем XML Sitemap.

И таким же способом сохраняем файл у себя на компьютере.

Создание sitemap.xml в Comparser

Как и Screaming Frog, Comparser — это программа, которой пользуются SEO-специалисты для профессиональных отчетов, и также является условно-бесплатной. Бесплатная версия ограничена 150 страницами сайта, после чего останавливает парсинг и требует оплатить полную версию.

При запуске, Comparser предложит на выбор купить лицензию, или запустить демо-версию. Выбираем демо-версию:

Далее действуем уже по известному сценарию: указываем URL-адрес и скачиваем карту сайта. Для этого нажимаем на кнопку Запустить:

В появившемся окне указываем URL-адрес:

Также можем выбрать более точные настройки для парсинга. Рекомендую указать галочки как на скриншоте, чтобы вписаться в лимит 150 страниц. Чтобы не тратить лимит на внешние ссылки, и закрытые в robots от индексирования внутренние.

После этого выбираем в верхнем меню пункт Sitemap, и далее Создать Sitemap.xml:

Подробных настроек Comparser нам не предложить, далее просто скачаем файл с sitemap.xml.

Подключение XML-карты к сайту

Если мы создаем sitemap.xml через плагин для CMS, то всю работу за нас делает сам плагин, и карту загружает, и регулярно обновляет ее. Но при использовании других способов создания XML-карты сайта, нам это нужно будет сделать самостоятельно.

Загрузка sitemap.xml на сервер

Для этого понадобится любой менеджер загрузки файлов на сервер (например, Filezilla), либо доступы к хостингу. Используя любой из этих способов, нам нужно загрузить карту в корень. Чтобы она была доступна по адресу site.ru/sitemap.xml

Добавление ссылки на sitemap.xml в robots.txt

Кроме этого, необходимо добавить в файл robots.txt директиву о том, где находится sitemap.xml.

Пример нашего файла robotx.txt:

Добавление sitemap.xml в поисковые системы

Основные действия, которые были необходимы, мы уже сделали. Карта сайта в любом случае будет просканирована поисковыми системами. Но мы можем им помочь, а также ускорим тем самым процесс индексации.

Добавление sitemap.xml в панели вебмастера Yandex

Переходим в кабинет вебмастера в Яндексе по адресу https://webmaster.yandex.ru/. Нас интересует блок с меню слева, а именно Индексирование, Файлы Sitemap:

На открывшейся странице будет только одна форма с добавлением карты sitemap:

Боковое меню Яндекс.Вебмастера

После этого остается только положиться на Яндекс и ждать индексации страниц. Сам Яндекс на странице сообщает, что это может занять 1-2 недели.

Добавление sitemap в панели вебмастера Google

Работа с панелью вебмастера от Google не особо отличается. Все также обращаемся к боковому меню, но на этот раз ищем пункт "Файлы Sitemap":

Аналогично Яндекс, по середине страницы будет располагаться форма для отправки URL вашего sitemap:

Помимо этого, Google предлагает на этой же странице ознакомиться с информацией по обработке файла, а также выведет ошибки, если они присутствуют в файле.

Какой способ создания xml-карты сайта лучше выбрать?

В этой статье рассмотрено несколько способов, и после их детального разбора, обсудим, чем они отличаются, и какой из них лучше.

Через плагин

Преимущества: обновляется автоматически, подробные настройки, не нужно вручную загружать сайт

Недостатки: сайт обязательно должен работать на CMS, чтобы можно было воспользоваться этим способом

Через онлайн-генератор

Преимущества: можно использовать на сайте, даже если нет CMS

Недостатки: ограничение на кол-во страниц, либо доп. оплата страниц, онлайн-сервис в нужный момент может быть недоступен

Через программу

Преимущества: можно использовать на сайте, даже если нет CMS, работает на вашем компьютере, а значит нет зависимости от сайта сервиса

Недостатки: ограничения на кол-во страниц, либо платно