Внутренняя оптимизация сайтов

Внутренняя оптимизация (on page оптимизация) — это целый комплекс работ, которые проводятся для улучшения качества сайта с целью лучшего ранжирования в поисковых системах.

При проведении оптимизации необходимо смотреть на сайт не только глазами пользователя, но и «глазами» роботов поисковых систем. 

Техническая оптимизация сайта

Robots.txt

Задать конкретные параметры сканирования сайта как для всех роботов сразу, так и для каждой поисковой системы (ПС) по отдельности. Для этого в файле robots.txt, который лежит в корневой директории сайта, с помощью директив указываются файлы или разделы, которые не нужно посещать роботу (директива Disallow), либо же наоборот – те, которые надо посетить (директива Allow).

Кроме этих директив в файле можно указать:

• Sitemap: — указывает адрес, по которому расположена XML карта сайта;
• Clean-param: — указывает поисковому роботу, что URL адрес содержит параметры, которые необходимо не учитывать при индексации, например UTM-метки;
• Crawl-delay: — задает роботу минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей.

Пример файла robots.txt (источник https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html)

Sitemap.xml

Или просто карта сайта – дает информацию поисковому роботу о всех страницах на сайте. Для каждой страницы необходимо указывать значимость – тег <priority>, дату последнего обновления – тег <lastmod> и частоту, с которой обновляется страница - <changefreq>.

Пример файла sitemap.xml (источник https://kokoc.com/sitemap-files.xml)

Создать sitemap.xml можно разными способами:

• вручную, добавляя все url сайта и соблюдая синтаксис, однако, это довольно трудозатратный процесс и не подойдет для больших сайтов;
• в некоторых CMS карта сайта может быть сгенерирована автоматически – самый оптимальный вариант;
• с помощью онлайн сервисов, или специальных программ – ScreamingFrogSEOSpider или Netpeak Spider.

Несуществующие страницы

Несуществующие страницы сайта:

• ранее существовавшие и удаленные;
• страницы, в адресе которых допущена ошибка;

Страницу 404 ошибки рекомендуется оформить в стиле сайта и разместить на ней переходы на главную и основные страницы сайта.

Пример страницы с 404 ошибкой (источник https://kokoc.com/)

Структура формирования URL

Еще один пункт внутренней оптимизации – настройка ЧПУ и структуры url.

ЧПУ – это человеко-понятные URL адреса – их лучше понимают и поисковые системы, и пользователи. Для русскоязычных сайтов лучше использовать транслитерацию, но подойдут и английские переводы.

Важно соблюдать правильную вложенность страниц при построении url адресов – она должна отражать структуру сайта и важность страницы. Для поисковых систем больший вес в ранжировании имеют страницы с наименьшим уровнем вложенности в url адресе.

Главную страницу поисковая система считает страницей 1 уровня. Страницы, которые находятся после первого слеша – страницы второго уровня вложенности url адреса. Страница, которая следует за вторым слешем, будет считаться страницей третьего уровня вложенности url адреса и так далее.

Несколько советов по настройке адресов страниц:

• в url страницы следует добавить 1-3 ключевых слова, по которым продвигается страница;
• нужно соблюдать иерархию в построении адреса;
• не стоит делать адрес слишком длинным;
• все url должны быть уникальными;
• структура адреса должна соответствовать названию в меню и в «хлебных крошках».

Пример корректного адреса на сайте (источник https://kokoc.com/)

Дубликаты страниц

Найти такие страницы можно с помощью панелей GoogleWebmaster и Яндекс.Вебмастер или специализированных программ – ScreamingFrogSEOSpider, Netpeak Spider, Xenu.

Наиболее распространенные причины появления дублей, и пути их устранения:

1. сайт доступен сразу по двум адресам – с www и без, и по двум протоколам – http и https. Для верной индексации поисковыми системами страница должна быть доступна только с одного зеркала и иметь ответ сервера 200 ОК. Со всех остальных зеркал должен быть настроен редирект с ответом сервера 301 Moved Permanently.
2. Страницы сайта могут быть доступны со слешем «/» в конце и без. Для устранения дубликатов, необходимо определиться с типом url адресов и настроить переадресацию с ответом 301 на основной вид страниц.
3. Главная страница доступна сразу по нескольким адресам - site.ru/index.html, site.ru/index.php, site.ru/index, site.ru/main/ и т.д. Со всех таких url настраиваем 301 редирект на главную – site.ru.
4. Доступны страницы с символами в адресе в разных регистрах - site.ru/pAgE/ и site.ru/page/. Такие дубли устраняем 301 редиректом с любых адресов верхнего регистра на нижний.
5. На сайте используются UTM-метки рекламных кампаний и реферальные ссылки. Для таких страниц с помощью тега link с атрибутом rel="canonical" необходимо указать «чистый» урл страницы – ту, которую нужно индексировать. Либо запретить индексацию меток в файле robots.txt при помощи директивы Disallow или Clean-param.

Дублирование заголовков и мета-тегов.

Помимо дублей страниц одна из частых проблем – дублирование заголовков и мета-тегов. Обычно эта проблема встречается на новых, еще не оптимизированных сайтах или появляться при автоматическом заполнении, например, у товаров интернет-магазина. Обнаружить дублирование можно с помощью seo-программ. Для их устранения в шаблон заполнения необходимо включить дополнительные параметры, уникализирующие страницу – цвет, размер, номер, артикул – любую особенность.

301 редирект и битые ссылки

Если при внутренней оптимизации сайта появилась необходимость изменить url-адрес страницы, то со старого url-адреса необходимо настроить переадресацию на новый с ответом сервера 301 Moved Permanently. В таком случае поисковик проиндексирует новый адрес страницы и заменит в выдаче страницу на новую.

Редирект следует настроить в случае:

• Смены домена.
• Переноса сайта на другую CMS.
• Необходимости настроить ЧПУ.
• Устранения дублей на сайте.
• Изменения адреса страницы.

В первом и втором случаях необходимо сохранить при возможности url такими же как они были на старом домене. Это позволит минимизировать потери трафика при «переезде».

Если при удалении страницы, файла или изображения, на которые остались ссылки на стайте, не настроить переадресацию 301, это приведет к появлению ссылок, ведущих на страницы 404 Not Found. Наличие на сайте таких ссылок негативно воспринимается пользователями, как следствие и поисковыми системами при ранжировании.

В рамках оптимизации сайта все обнаруженные «битые ссылки» необходимо скорректировать, удалив на них ссылки, либо настроив переадресацию на работающую страницу сайта.

Навигация

Хлебные крошки

Навигационные цепочки или «хлебные крошки» - важный элемент навигации по сайту.

По примеру известной сказки братьев Гримм – они помогают понять, где посетитель находится в данный момент, как он сюда дошел и куда он сможет вернуться.

Пример реализации хлебных крошек

Кроме удобства для пользователя, а, следовательно, улучшения юзабилити сайта и поведенческих факторов, хлебные крошки участвуют во внутренней перелинковке сайта и распределении ссылочного веса. Чем выше страница в иерархии сайта, тем больше на нее передается ссылочного веса, тем важнее страница. Таким образом, на главную ссылаются категории, на категории – подкатегории, на подкатегории – товары.

Правильная перелинковка и улучшение поведенческих факторов положительно влияют на ранжирование сайта в поисковой выдаче.

При наличии правильной разметки навигационные цепочки появляются в сниппетах выдачи Яндекса и Гугла. Благодаря такому сниппету пользователи прямо из выдачи могут перейти в любой раздел сайта.

Пример хлебных крошек в выдаче Яндекса.

Навигационное меню сайта.

Яндекс оценивает вложенность страницы по количеству кликов с главной.

Вложенность - важный параметр ранжирования запросов на странице. Поэтому важно, чтобы с главной страницы сайта все категории и подкатегории, были доступны в минимальное количество кликов как человеку, так и поисковому роботу. Основным инструментом для уменьшения вложенности является навигационное меню.

Пример навигационного меню, которое содержит основные категории и подкатегорий и образует физическую вложенность второго уровня для поисковых систем.

В ходе внутренней оптимизации сайта необходимо проверить:

• Все ли нужные пункты меню доступны с главной страницы с нужными анкорами. Для этого стоит посмотреть еще и текстовую копию страниц.
• Также, в html коде страницы необходимо проверить – не дублируется ли меню из-за адаптивной версии или просто из-за ошибки.

Внутренняя перелинковка

С помощью внутренних ссылок связываются между собой отдельные страницы сайта.

Есть несколько видов внутренней перелинковки на сайте:

• Сквозная – это ссылки на основные страницы, расположенные в шапке сайта и футере.
• Контекстная – ссылки, размещенные в тексте.
• Навигационная – это содержание страницы – помогает быстро перейти к нужному разделу страницы.
• Полезные ссылки – размещенные в конце основного контента страницы. Для сайта интернет-магазина – это блок рекомендуемых или похожих товаров, для информационных сайтов – это ссылки на похожие статьи.

Размещать внутренние ссылки можно как вручную, так и автоматически.

Пример реализации навигационной перелинковки (Источник https://ru.wikipedia.org/)

Микроразметка

Семантическая разметка данных структурирует содержимое страницы и помогает поисковым системам обрабатывать информацию для удобного её предоставления в выдаче. Данные размечаются в коде страницы с помощью специальных атрибутов.

Основные виды микроразметок – это:

• Schema.org - стандарт семантической разметки для поисковых систем;
• Open Graph - микроразметка Facebook для правильного отображения публикаций.

Наличие микроразметки увеличивает занимаемое место в выдаче, показывает больший объем информации о ресурсе и повышает количество разделов сайта, на которые можно перейти сразу из поиска.

Проверить наличие разметки и ошибки в ней можно с помощью сервисов «Валидатор микроразметки» от Яндекса - https://webmaster.yandex.ru/tools/microtest/ и «Проверка структурированных данных» от Google - https://search.google.com/structured-data/testing-tool/u/0/.

Пример микроразметки сайта в выдаче Яндекса

Адаптивная версия сайта

Адаптивный дизайн позволяет оптимизировать отображение сайта на различных устройствах, например, на смартфонах и планшетах, не создавая отдельную версию на поддомене.

Проверить оптимизацию сайта для мобильных устройств можно с помощью браузера, в панели Яндекс.Вебмастера, с помощью сервиса проверки Google https://search.google.com/test/mobile-friendly

Скорость загрузки страниц

Еще одна важная составляющая внутренней оптимизации сайта – скорость загрузки ресурса. Она зависит от многих факторов, таких как: корректная настройка сервера, близость дата-центров хостинга к местоположению основной аудитории, правильная оптимизация CMS и кода сайта, и прочего.

Быстрая загрузка сайта позволяет поисковым системам лучше его индексировать и создает положительный опыт взаимодействия с посетителями, что, в свою очередь, влияет на ранжирование в выдаче.

Проверить скорость загрузки можно с помощью сервисов:

• https://developers.google.com/speed/pagespeed/insights/
• https://tools.pingdom.com/
• https://gtmetrix.com/

Регистрация сайта в панелях вебмастеров

Для мониторинга и анализа сайта нужно добавить его в панели для вебмастеров Яндекс-Вебмастер и Google Search Console.

Панели вебмастеров укажут на ошибки и санкции на сайте, дадут рекомендации по улучшению индексации, покажут количество страниц в индексе, а также обладают обширным набором инструментов.

Для детального изучения эффективности трафика с различных источников, а так же для изучения поведенческих факторов необходимо установить на сайте счетчики Яндекс Метрика и Google Analytics.

Для появления организации на картах, а также для присвоения региона продвижения сайта, нужно создать карточку организации в Яндекс.Справочнике и в сервисе Google Мой Бизнес. Заполнить карточки организаций желательно максимально подробно – это поможет поисковой системе лучше ранжировать сайт в локальном поиске и среди сайтов определенной тематики.

Оптимизация сайта для продвижения

Ключевые слова (семантика)

Семантическое ядро (СЯ) — это полный список запросов сайта из набора слов с морфологическими формами, наиболее точно описывающие вид деятельности, тематику, услуги и/или товары, предлагаемые сайтом. В целом – это список слов, по которым сайт должен быть на 1-10 месте выдачи поисковых систем.

Все запросы делятся на высокочастотные (ВЧ), среднечастотные (СЧ), низкочастотные (НЧ). Для разных тематик значения частотности запросов могут быть разные – для одних сайтов ВЧ будут начинаться со 100 запросов в месяц, для других – с 1000. В целом распределение выглядит так: СЧ имеют частоту в 3-10 раз ниже, чем ВЧ, а НЧ в 3-10 ниже, чем СЧ.

Для определения частотности запросов используется сервис Яндекса по подбору слов - https://wordstat.yandex.ru/.

При составлении СЯ с помощью этого сервиса важно учитывать регион и виды частотности.

• Базовая частотность – частота запроса при вводе запроса без какого-либо синтаксиса. Она содержит в сумму частотностей всех фраз, содержащих слова из запроса в любых формах и в любом порядке.
• "Частотность в кавычках" – частота запроса без других слов, но с учетом словоформ и перестановок.
• "!Точная" (в кавычках с восклицательным знаком) – содержит частотность слова в таком виде, в котором оно написано.
• " [!Точная !частотность]" – будет показывать количество запросов в месяц фразы с учетом порядка слов и форму слова, которая задана.

Сбор ядра сайта происходит в несколько этапов:

1. Собираем все подходящие слова с помощью сервисов Яндекс.Вордстат и Google Adwords;
2. Дополнить семантику можно словами конкурентов – для этого подойдут сервисы https://spywords.ru или https://www.keys.so/ru;
3. Расширение запросами из систем статистики Яндекс Метрика и Google Analytics, Вебмастера и сбором подсказок по целевым запросам;
4. Из полученного списка удаляем нецелевые запросы и запросы с нулевой частотностью;
5. Кластеризуем запросы – распределяем запрос или группу запросов на соответствующие для продвижения страницы сайта.

Контент согласно семантике

После составления СЯ необходимо оптимизировать контент сайта в соответствии с выбранными ключевыми словами.

Ключевым словам должны соответствовать анкоры в меню, названия ссылок при внутренней перелинковке, url страниц.

Так же ключевые слова должны также содержаться в текстах. SEO-рекомендации к тексту можно описать так:

1. Количество вхождений запросов необходимо подбирать, анализируя конкурентов. Важно избегать частых и неоправданных повторений.
2. Текст должен быть уникальным.
3. Текст должен быть полезным и понятным, в полной мере отвечающим на запрос пользователя.
4. Текст должен быть разбит на абзацы и структурирован, содержать маркированные и нумерованные списки.

Оптимизация тегов на странице

Один из самых важных пунктов внутренней оптимизации сайта – грамотно заполненные seo-теги страниц - title, description, заголовки уровня h1-h6.

Мета-теги title и description в первую очередь важны для поисковой системы, при этом их цель – привлечь пользователя из выдачи ПС именно на наш сайт.

Title

Title – самый важный тег, содержащий в себе основную информацию о содержании страницы. В поисковой выдаче отображается как заголовок страницы, содержащий ссылку на сайт.

При написании тега Title должны быть учтены все основные ключевые слова страницы, самый ВЧ запрос должен стоять первым. Заголовок должен быть коротким и логичным, а также уникальным для каждой страницы сайта.

Description

Description – краткое описание. Тут важно детальнее рассказать о содержимом странице. Описание должно содержать ключевые слова и быть уникальным для каждой страницы.

Пример мета-тегов title и description из выдачи Яндекса по запросу «робот пылесос».

Заголовок H1

Заголовок h1 - самый главный заголовок в контентной части страницы как для поисковика, так и для посетителя. Должен содержать самый частотный запрос на продвигаемой странице, однако, во избежание заспамленности не рекомендуется в заголовке h1 полностью дублировать title.

Важно соблюдать иерархию заголовков в тексте: h1, затем h2, h3 и так далее.

Коммерческие факторы

Для продвижения сайта в коммерческой тематике при проведении внутренней оптимизации следует обратить внимание на следующие коммерческие факторы:

1. Наличие нескольких видов связи – телефоны, электронная почта, мессенджеры, скайп.
2. Наличие нескольких телефонов, телефонов разных профильных сотрудников с их фото, номер 8-800.
3. Наличие форм обратной связи и обратно звонка, онлайн консультант и социальные сети.
4. Наличие адреса и времени работы.
5. На странице контактов кроме номеров и адреса важно указать схему или карту проезда, реквизиты компании, фото помещений.
6. Наличие раздела «О компании». В нем важно предоставить миссию компании, историю, вакансии, сертификаты свидетельства, дипломы, подтверждающие официальную деятельность компании.
7. Наличие фильтров, сортировок, акционных и специальных предложений в каталогах товаров.
8. Наличие отзывов о товарах и их рейтинга.